动态 | 姚班天才少年鬲融凭非凸优化研究成果获得斯隆研究奖

2019 年 3 月 10 日 AI科技评论

AI 科技评论按：近日，美国艾尔弗·斯隆基金会（The Alfred P. Sloan Foundation）公布了2019年斯隆研究奖（Sloan Research Fellowships）获奖名单，华裔学者鬲融获此殊荣。

鬲融 2004 年从河北省保送至清华大学计算机系，是首届清华姚班毕业生，普林斯顿大学计算机科学系博士，曾在微软研究院新英格兰分部做博士后，2015年至今在杜克大学担任助理教授。

斯隆研究奖自1955年设立，每年颁发一次，旨在向物理学、化学和数学领域的这些“早期职业科学家和学者提供支持和认可”，后来陆续增加了神经科学、经济学、计算机科学、以及计算和进化分子生物学。2019届斯隆研究奖获奖者共126名，其中，含鬲融在内共有19位华人学者获奖。

斯隆研究奖历来有“诺奖风向标”的美誉。因为迄今为止，已有47位该奖项获奖人获得了“诺贝尔奖”。另有17位获奖人获得了“数学菲尔兹奖”，69位获奖人获得“美国国家科学奖章”，18位获得“约翰·贝茨·克拉克奖”。

鬲融求学期间有许多突出事迹，可谓是天才少年，在这篇文章中有较为详细的叙述，以及这之后在读博期间获得了 NIPS 2016 的最佳学生论文奖。下面我们着重介绍一下他近期的研究成果。

鬲融的研究领域为理论计算机科学和机器学习。他在个人主页上写道“深度学习等现代机器学习算法尝试从数据中自动学习有用的隐含表示。那么我们要如何公式化数据中的隐含结构，以及如何设计高效的算法找到它们呢？我的研究就以非凸优化和张量分解为工具，通过研究文本、图像和其他形式的数据分析中出现的问题，尝试解答这些疑问。”

鬲融的研究有三个主要课题：表示学习（Representation Learning）、非凸优化（Non-convex Optimization）以及张量分解（Tensor Decompositions）。此次获得斯隆研究奖，正是基于鬲融在非凸优化方面的研究。根据他本人介绍：“现在机器学习大多使用深度学习算法，这些算法需要通过解决一些非凸优化问题来找到最优的神经网络参数。理论上非凸优化在最坏情况下是非常困难的，但是实际上即使是非常简单的算法（比如梯度下降gradient descent）都表现很好。我最近的工作对于一些简单的非凸优化问题给出了一些分析，可以证明所有的局部最优解都是全局最优解。”

他还补充道：“科研中感觉有些问题一开始看来完全没有头绪，但是有几个特别感兴趣的问题我一般会每隔一段时间再看一下。现在理论机器学习方向发展很快，往往过了一段时间就有很多新的技术可以尝试。其实一开始研究非凸优化的问题是为了解决张量分解的问题（这个是我之前做的研究），但是开始做了之后才发现我们用的工具在很多其他问题中也非常有效。”

不仅此次获奖的研究结论“简单的非凸优化中所有的局部最优解都是全局最优解”对机器学习领域的研究人员们来说是一个令人欣慰的结论，鬲融更多关于别的课题的研究论文也发表在了NIPS、ICML、ICLR等顶级人工智能学术会议上。我们下面列举一些。

Learning Two-layer Neural Networks with Symmetric Inputs，借助对称输入学习双层神经网络. ICLR 2019. https://arxiv.org/abs/1810.06793

Understanding Composition of Word Embeddings via Tensor Decomposition，通过张量分解理解词嵌入的成分. ICLR 2019. https://openreview.net/forum?id=H1eqjiCctX

Stronger generalization bounds for deep nets via a compression approach，通过压缩方式为深度神经网络赋予更强的泛化边界. ICML 2018. https://arxiv.org/abs/1802.05296

Minimizing Nonconvex Population Risk from Rough Empirical Risk，从粗糙的经验风险中最小化非凸种群风险. NeurIPS 2018. https://arxiv.org/abs/1803.09357

Beyond Log-concavity: Provable Guarantees for Sampling Multi-modal Distributions using Simulated Tempering Langevin Monte Carlo，超越对数凹面：通过仿真时序郎之万蒙特卡洛实现采样多模态分布的可证明保证. NIPS 2017 Bayesian Inference Workshop. NeurIPS 2018. https://arxiv.org/abs/1812.00793

Global Convergence of Policy Gradient Methods for Linearized Control Problems，用于线性化控制问题的策略梯度方法的全局收敛性. ICML 2018. https://arxiv.org/abs/1801.05039

Learning One-hidden-layer Neural Networks with Landscape Design，通过曲面设计学习单层隐层的神经网络. ICLR 2018. https://arxiv.org/abs/1711.00501

Generalization and Equilibrium in Generative Adversarial Nets (GANs)，对抗性生成式网络的泛化性和均衡研究. ICML 2017. https://arxiv.org/abs/1703.00573

No Spurious Local Minima in Nonconvex Low Rank Problems: A Unified Geometric Analysis，低阶非凸问题中不存在虚假的局部极小值：一个统一的几何分析. ICML 2017. https://arxiv.org/abs/1704.00708

How to Escape Saddle Points Efficiently，如何高效地离开驻点. ICML 2017. https://arxiv.org/abs/1703.00887

On the Optimization Landscape of Tensor decompositions，关于张量分解的优化图像.NIPS 2016 非凸 workshop 最佳理论研究奖. https://sites.google.com/site/nonconvexnips2016/files/Paper8.pdf

Matrix Completion has No Spurious Local Minimum，矩阵期满中不存在虚假的局部极小值. NIPS 2016 最佳学生论文奖. http://arxiv.org/abs/1605.07272

Provable Algorithms for Inference in Topic Models，话题模型中可证明的推理算法. In ICML 2016. http://arxiv.org/abs/1605.08491

Efficient Algorithms for Large-scale Generalized Eigenvector Computation and Canonical Correlation Analysis，几个高效的大规模泛化特征向量计算和规范关联分析算法. ICML 2016. http://arxiv.org/abs/1604.03930

Rich Component Analysis，富成分分析. In ICML 2016. http://arxiv.org/abs/1507.03867

Intersecting Faces: Non-negative Matrix Factorization With New Guarantees，相交的截面：带有新的保证的非负矩阵乘法. ICML 2015. http://arxiv.org/abs/1507.02189

Un-regularizing: approximate proximal point and faster stochastic algorithms for empirical risk minimization，反规范化：用于经验风险最小化的逼近近似点和更快的随机算法. ICML 2015. http://arxiv.org/abs/1506.07512

此外他还有多篇论文发表在各年的 COLT（Annual Conference on Learning Theory，ACM 主办，计算学习理论顶级会议）中。