最新《非凸优化理论》进展书册，79页pdf

基于最近关于非凸优化算法在训练深度神经网络和数据分析中的其他优化问题中的应用，我们对非凸优化算法全局性能保证的最新理论成果进行了综述。我们从经典的论证开始，证明一般的非凸问题不可能在合理的时间内得到有效的解决。然后，我们给出了一个可以通过尽可能多地利用问题的结构来寻找全局最优解的问题列表。处理非凸性的另一种方法是将寻找全局最小值的目标放宽到寻找一个平稳点或局部最小值。对于这种设置，我们首先给出确定性一阶方法收敛速度的已知结果，然后是最优随机和随机梯度格式的一般理论分析，以及随机一阶方法的概述。然后，我们讨论了相当一般的一类非凸问题，如α-弱拟凸函数的极小化和满足Polyak- Lojasiewicz条件的函数，这些函数仍然可以得到一阶方法的理论收敛保证。然后我们考虑非凸优化问题的高阶、零阶/无导数方法及其收敛速度。