We present a method for estimating the maximal symmetry of a regression function. Knowledge of such a symmetry can be used to significantly improve modelling by removing the modes of variation resulting from the symmetries. Symmetry estimation is carried out using hypothesis testing for invariance strategically over the subgroup lattice of a search group G acting on the feature space. We show that the estimation of the unique maximal invariant subgroup of G can be achieved by testing on only a finite portion of the subgroup lattice when G_max is a compact subgroup of G, even for infinite search groups and lattices (such as for the 3D rotation group SO(3)). We then show that the estimation is consistent when G is finite. We demonstrate the performance of this estimator in low dimensional simulations, on a synthetic image classification on MNIST data, and apply the methods to an application using satellite measurements of the earth's magnetic field.


翻译:摘要:我们提出了一种通过子群格来估计回归函数最大对称性的方法。这样的对称性的知识可以通过消除对称性导致的变化模式来显著提高建模效果。对称性的估计是通过对作用于特征空间的搜索组G的子群格进行不变假设检验来实现的。我们证明了当G_max是G的紧致子群时,甚至对于无限的搜索组和格子(例如3D旋转群SO(3)),仅在子群格的有限部分上进行测试就可以实现G的唯一最大不变子群的估计。然后我们证明了当G是有限的时,估计值是一致的。我们展示了这个估计器在低维模拟、基于MNIST数据的合成图像分类以及应用卫星测量地球磁场的应用中的性能。

0
下载
关闭预览

相关内容

不可错过!《机器学习100讲》课程,UBC Mark Schmidt讲授
专知会员服务
73+阅读 · 2022年6月28日
专知会员服务
50+阅读 · 2020年12月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
1+阅读 · 2023年5月14日
Arxiv
0+阅读 · 2023年5月10日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员