Adaptive Moment Estimation (ADAM) is a very popular training algorithm for deep neural networks and belongs to the family of adaptive gradient descent optimizers. However to the best of the authors knowledge no complete convergence analysis exists for ADAM. The contribution of this paper is a method for the local convergence analysis in batch mode for a deterministic fixed training set, which gives necessary conditions for the hyperparameters of the ADAM algorithm. Due to the local nature of the arguments the objective function can be non-convex but must be at least twice continuously differentiable. Then we apply this procedure to other adaptive gradient descent algorithms and show for most of them local convergence with hyperparameter bounds.


翻译:适应性动态估计(ADAM)是深神经网络非常受欢迎的培训算法,属于适应性梯度下沉优化器家庭。然而,据作者所知,对于ADAM,并没有完全的趋同分析。本文的贡献是用批量方式对确定性固定培训集进行当地趋同分析的一种方法,为ADAM算法的超参数提供了必要条件。由于论据的局部性质,客观功能可以是非电解码,但必须至少是连续的两倍。然后,我们将这一程序应用到其他适应性梯度下沉算法中,并显示大部分地方与超光度界限的趋同。

0
下载
关闭预览

相关内容

专知会员服务
144+阅读 · 2021年3月17日
专知会员服务
51+阅读 · 2020年12月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
127+阅读 · 2020年11月20日
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
如何找到最优学习率?
AI研习社
11+阅读 · 2017年11月29日
Arxiv
0+阅读 · 2021年4月13日
Arxiv
0+阅读 · 2021年4月12日
VIP会员
相关资讯
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
如何找到最优学习率?
AI研习社
11+阅读 · 2017年11月29日
Top
微信扫码咨询专知VIP会员