深度神经网络在计算机视觉、机器学习和人工智能等许多领域都取得了显著的经验成功。随着经验上的成功,深度学习在理论上已被证明在表达能力方面具有吸引力。即具有一个隐层的神经网络可以近似任意连续函数,而具有更深层次的神经网络可以近似具有较少参数的特定类函数。表达理论指出,在一定规模的神经网络中,存在近似目标函数的最优参数向量。然而,在神经网络优化过程中,表达理论并不能保证能够有效地找到这样的最优向量。优化是深度学习的关键步骤之一,因为对数据的学习是通过优化来实现的,即对深度神经网络的参数进行优化,使网络与数据保持一致的过程。这个过程通常需要非凸优化,这对于一般的高维问题来说是不可扩展的。事实上,一般来说,神经网络的优化是不可扩展的,除非对其架构做额外的假设。

本文通过研究可扩展性中的一些基本瓶颈,如次最优局部极小值和鞍点,研究了各种深度神经网络体系结构的非凸优化问题。特别地,对于深度神经网络,我们给出了局部极小值和临界点的各种保证,以及梯度下降找到的点。证明了在深度神经网络非凸优化中,对实际度进行适度的过参数化可以保证梯度下降找到全局最小值。此外,即使没有过度参数化,我们表明,无论是理论还是经验,增加参数的数量,改善临界点和局部极小值的值向全局最小值。我们还证明了残差神经网络局部极小值的理论保证。此外,本文提出了一个统一的理论来分析这些特定架构之外的各种深度神经网络的临界点和局部极小值。这些结果表明,尽管在理论的最坏情况和最坏的架构中存在可伸缩性问题,但我们可以避免这个问题,并在实践中对各种有用架构的大型问题进行良好的可扩展性。

成为VIP会员查看完整内容
58

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
103+阅读 · 2021年7月17日
【哥伦比亚大学博士论文】深度概率图建模147页pdf
专知会员服务
85+阅读 · 2021年4月27日
专知会员服务
62+阅读 · 2021年4月11日
最新《非凸优化理论》进展书册,79页pdf
专知会员服务
104+阅读 · 2020年12月18日
专知会员服务
41+阅读 · 2020年9月25日
非凸优化与统计学,89页ppt,普林斯顿Yuxin Chen博士
专知会员服务
100+阅读 · 2020年6月28日
机器学习速查手册,135页pdf
专知会员服务
335+阅读 · 2020年3月15日
【UMASS博士论文】几何表示学习,162页pdf
专知
1+阅读 · 2021年4月11日
最新《图嵌入组合优化》综述论文,40页pdf
7个实用的深度学习技巧
机器学习算法与Python学习
16+阅读 · 2019年3月6日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
Residual Mixture of Experts
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月17日
Arxiv
10+阅读 · 2021年11月10日
Arxiv
135+阅读 · 2018年10月8日
VIP会员
相关VIP内容
专知会员服务
103+阅读 · 2021年7月17日
【哥伦比亚大学博士论文】深度概率图建模147页pdf
专知会员服务
85+阅读 · 2021年4月27日
专知会员服务
62+阅读 · 2021年4月11日
最新《非凸优化理论》进展书册,79页pdf
专知会员服务
104+阅读 · 2020年12月18日
专知会员服务
41+阅读 · 2020年9月25日
非凸优化与统计学,89页ppt,普林斯顿Yuxin Chen博士
专知会员服务
100+阅读 · 2020年6月28日
机器学习速查手册,135页pdf
专知会员服务
335+阅读 · 2020年3月15日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员