非凸优化是机器学习中的基础问题,迭代优化方法缺乏理论支撑。普林斯顿大学助理教授Yuxin Chen一直从事非凸优化方面的研究,这份报告讲述了最近关于非凸统计估计的故事,它们强调了统计模型在实现有效的非凸优化中的重要作用。
Yuxin Chen 目前是普林斯顿大学电气工程系的助理教授。在加入普林斯顿大学之前,他是斯坦福大学统计系的博士后学者,并在斯坦福大学完成了电子工程博士学位。他的研究兴趣包括高维统计、凸与非凸优化、统计学习和信息论。他获得了2019年AFOSR青年研究员奖。
http://www.princeton.edu/~yc5/
非凸优化与统计学
近年来,利用非凸优化方法来解决统计估计和学习问题的研究工作层出不穷。由于非凸优化算法易受虚假局部极小值的影响,传统工作通常对其持悲观看法,而简单的迭代方法,如梯度下降法,在实践中已经取得了显著的成功。然而,直到最近,这些理论基础在很大程度上一直缺乏。这个报告展示了两个最近关于非凸统计估计的故事,它们强调了统计模型在实现有效的非凸优化中的重要作用。第一个故事是关于一个相位检索问题的随机初始化非凸方法:即使没有仔细的初始化,像梯度下降这样的简单算法也可以在对数迭代次数内找到全局解。第二个故事是关于非凸低秩矩阵补全的不确定性量化。我们在非凸估计的基础上开发了一个去偏估计器,使未知矩阵缺失项的置信区间能得到最优构造。所有这些都是通过一个“一留一出”的统计分析框架实现的,该框架在处理和解耦复杂的统计依赖方面非常强大。