随着科学与工程越来越多地由数据驱动,优化的作用已经扩展到几乎数据分析流水线的每一个阶段,从信号和数据采集到建模和预测。实际中遇到的优化问题往往是非凸的。虽然挑战因问题而异,但非凸性的一个常见来源是数据或测量模型中的非线性。非线性模型通常表现出对称性,创造出复杂的、非凸的客观视角,具有多个等价解。然而,简单的方法(如梯度下降)在实践中往往表现得非常好。这一综述的目的是突出一类可处理的非凸问题,可以通过对称性的视角来理解。这些问题呈现出一种典型的几何结构:局部最小值是单一“真值”解的对称副本,而其他临界点出现在真值解的对称副本的平衡叠加处,并在打破对称性的方向上表现出负曲率。这种结构使有效的方法获得全局最小值。我们讨论了在成像、信号处理和数据分析的广泛问题中产生的这种现象的例子。我们强调了对称在塑造客观视角中的关键作用,并讨论了旋转对称和离散对称的不同作用。这一地区有很多观察到的现象和悬而未决的问题;最后,我们强调了未来研究的方向。

https://www.zhuanzhi.ai/paper/563b993d68765c866b344a88f977515f

成为VIP会员查看完整内容
28

相关内容

《过参数化机器学习理论》综述论文
专知会员服务
45+阅读 · 2021年9月19日
专知会员服务
38+阅读 · 2021年5月30日
最新《非凸优化理论》进展书册,79页pdf
专知会员服务
108+阅读 · 2020年12月18日
【课程】概率图模型,卡内基梅隆大学邢波
专知会员服务
69+阅读 · 2019年11月4日
南大最新综述论文:基于模型的强化学习
新智元
8+阅读 · 2022年8月1日
【新书册】贝叶斯神经网络,41页pdf
专知
27+阅读 · 2020年6月3日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2022年9月8日
Arxiv
0+阅读 · 2022年9月8日
Arxiv
0+阅读 · 2022年9月8日
Arxiv
15+阅读 · 2021年11月19日
Arxiv
101+阅读 · 2020年3月4日
VIP会员
相关主题
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员