Finding the optimal configuration of parameters in ResNet is a nonconvex minimization problem, but first-order methods nevertheless find the global optimum in the overparameterized regime. We study this phenomenon with mean-field analysis, by translating the training process of ResNet to a gradient-flow partial differential equation (PDE) and examining the convergence properties of this limiting process. The activation function is assumed to be $2$-homogeneous or partially $1$-homogeneous; the regularized ReLU satisfies the latter condition. We show that if the ResNet is sufficiently large, with depth and width depending algebraically on the accuracy and confidence levels, first-order optimization methods can find global minimizers that fit the training data.


翻译:在ResNet中找到最佳参数配置是一个非混凝土最小化问题,但第一阶方法仍然在过度参数化制度中找到全球最佳的参数。我们通过平均场分析研究这一现象,将ResNet的培训过程转换成梯度-流量部分差异方程式(PDE),并研究这一限制过程的趋同特性。启动功能假定为2美元同源或部分一美元同源;正规的ReLU满足后一种条件。我们表明,如果ResNet足够大,深度和广度取决于精确度和信任度的代数,则第阶优化方法可以找到符合培训数据的全球最小化工具。

0
下载
关闭预览

相关内容

专知会员服务
50+阅读 · 2020年12月14日
深度学习算法与架构回顾
专知会员服务
80+阅读 · 2019年10月20日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Faster R-CNN
数据挖掘入门与实战
4+阅读 · 2018年4月20日
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】深度学习目标检测概览
机器学习研究会
10+阅读 · 2017年9月1日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2022年1月29日
Arxiv
0+阅读 · 2022年1月28日
Arxiv
5+阅读 · 2018年6月12日
VIP会员
相关VIP内容
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Faster R-CNN
数据挖掘入门与实战
4+阅读 · 2018年4月20日
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】深度学习目标检测概览
机器学习研究会
10+阅读 · 2017年9月1日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员