斯坦福助理教授马腾宇：机器学习非凸优化问题

优化非凸函数已成为现代机器学习和人工智能的标准算法技术。了解现有的优化非凸函数启发式方法非常重要，我们需要设计更有效的优化器。其中最棘手的问题是寻找非凸优化问题的全局极小值，甚至仅仅是一个 4 阶多项式——NP 困难。因此，具有全局保证的理论分析依赖于优化的目标函数的特殊属性。为了描述真实世界目标函数的属性特征，研究者假设机器学习问题的许多目标函数具有以下属性：全部或者绝大多数局部极小值近似于全局极小值。

基于局部导数的优化器可以在多项式时间内求解这一系列函数（下文讨论中也增加了一些额外的假设）。经验证据也表明机器学习和深度学习的实际目标函数可能具有这样的属性。

文章共分为七个章节，各章节主旨内容如下：

第一章：非凸函数的基本内容；

第二章：分析技术，包括收敛至局部极小值、局部最优 VS 全局最优和流形约束优化；

第三章：广义线性模型，包括种群风险分析和经验风险集中；

第四章：矩阵分解问题，包括主成分分析和矩阵补全；

第五章：张量分解，包括正交张量分解的非凸优化和全局最优；

第六章：神经网络优化的综述与展望。