基于最近关于非凸优化算法在训练深度神经网络和数据分析中的其他优化问题中的应用,我们对非凸优化算法全局性能保证的最新理论成果进行了综述。我们从经典的论证开始,证明一般的非凸问题不可能在合理的时间内得到有效的解决。然后,我们给出了一个可以通过尽可能多地利用问题的结构来寻找全局最优解的问题列表。处理非凸性的另一种方法是将寻找全局最小值的目标放宽到寻找一个平稳点或局部最小值。对于这种设置,我们首先给出确定性一阶方法收敛速度的已知结果,然后是最优随机和随机梯度格式的一般理论分析,以及随机一阶方法的概述。然后,我们讨论了相当一般的一类非凸问题,如α-弱拟凸函数的极小化和满足Polyak- Lojasiewicz条件的函数,这些函数仍然可以得到一阶方法的理论收敛保证。然后我们考虑非凸优化问题的高阶、零阶/无导数方法及其收敛速度。

成为VIP会员查看完整内容
87

相关内容

最新《机器学习数学基础》书册,109页pdf
专知会员服务
61+阅读 · 2021年2月7日
专知会员服务
100+阅读 · 2020年12月3日
【NeurIPS2020-北大】非凸优化裁剪算法的改进分析
专知会员服务
25+阅读 · 2020年10月11日
专知会员服务
31+阅读 · 2020年9月25日
深度学习批归一化及其相关算法研究进展
专知会员服务
47+阅读 · 2020年7月17日
非凸优化与统计学,89页ppt,普林斯顿Yuxin Chen博士
专知会员服务
88+阅读 · 2020年6月28日
【新书册】贝叶斯神经网络,41页pdf
专知会员服务
144+阅读 · 2020年6月3日
机器学习速查手册,135页pdf
专知会员服务
283+阅读 · 2020年3月15日
【优博微展2019】李志泽:简单快速的机器学习优化方法
清华大学研究生教育
12+阅读 · 2019年10月8日
如何改进梯度下降算法
论智
8+阅读 · 2018年4月19日
绝对干货 | 随机梯度下降算法综述
菜鸟的机器学习
12+阅读 · 2017年10月30日
深度学习之DNN与反向传播算法
机器学习算法与Python学习
4+阅读 · 2017年9月11日
机器学习(7)之感知机python实现
机器学习算法与Python学习
4+阅读 · 2017年7月23日
Arxiv
3+阅读 · 2020年3月27日
Parsimonious Bayesian deep networks
Arxiv
3+阅读 · 2018年10月17日
VIP会员
相关主题
相关VIP内容
最新《机器学习数学基础》书册,109页pdf
专知会员服务
61+阅读 · 2021年2月7日
专知会员服务
100+阅读 · 2020年12月3日
【NeurIPS2020-北大】非凸优化裁剪算法的改进分析
专知会员服务
25+阅读 · 2020年10月11日
专知会员服务
31+阅读 · 2020年9月25日
深度学习批归一化及其相关算法研究进展
专知会员服务
47+阅读 · 2020年7月17日
非凸优化与统计学,89页ppt,普林斯顿Yuxin Chen博士
专知会员服务
88+阅读 · 2020年6月28日
【新书册】贝叶斯神经网络,41页pdf
专知会员服务
144+阅读 · 2020年6月3日
机器学习速查手册,135页pdf
专知会员服务
283+阅读 · 2020年3月15日
相关资讯
【优博微展2019】李志泽:简单快速的机器学习优化方法
清华大学研究生教育
12+阅读 · 2019年10月8日
如何改进梯度下降算法
论智
8+阅读 · 2018年4月19日
绝对干货 | 随机梯度下降算法综述
菜鸟的机器学习
12+阅读 · 2017年10月30日
深度学习之DNN与反向传播算法
机器学习算法与Python学习
4+阅读 · 2017年9月11日
机器学习(7)之感知机python实现
机器学习算法与Python学习
4+阅读 · 2017年7月23日
微信扫码咨询专知VIP会员