We study stochastic gradient descent (SGD) and the stochastic heavy ball method (SHB, otherwise known as the momentum method) for the general stochastic approximation problem. For SGD, in the convex and smooth setting, we provide the first \emph{almost sure} asymptotic convergence \emph{rates} for a weighted average of the iterates . More precisely, we show that the convergence rate of the function values is arbitrarily close to $o(1/\sqrt{k})$, and is exactly $o(1/k)$ in the so-called overparametrized case. We show that these results still hold when using stochastic line search and stochastic Polyak stepsizes, thereby giving the first proof of convergence of these methods in the non-overparametrized regime. Using a substantially different analysis, we show that these rates hold for SHB as well, but at the last iterate. This distinction is important because it is the last iterate of SGD and SHB which is used in practice. We also show that the last iterate of SHB converges to a minimizer \emph{almost surely}. Additionally, we prove that the function values of the deterministic HB converge at a $o(1/k)$ rate, which is faster than the previously known $O(1/k)$. Finally, in the nonconvex setting, we prove similar rates on the lowest gradient norm along the trajectory of SGD.


翻译:我们研究一般随机偏差近近近问题时的随机梯度下降法(SGD)和超重球法(SHB,又称动力法 ) 。 对于 SGD 来说, 在 convex 和 平滑的设置中, 我们提供第一个 emph{ 几乎确定} 偏差趋同 。 更准确地说, 我们显示, 函数值的趋同率任意接近 $1/\\ sqrt{k} 美元, 确切地说是 $( 1/\\ sqrt{k} 。 在所谓的 最低偏差的案例中, $( ) 。 对于 SGD 来说, 这些结果仍然有效 。 在使用 SGD 线搜索时, 和 共和 共和级的阶梯度梯度分级化中, 我们第一次证明这些方法的趋同性趋同。 我们用在SHB 和 SHQr 最接近的 值 。

0
下载
关闭预览

相关内容

专知会员服务
50+阅读 · 2020年12月14日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
25+阅读 · 2019年5月22日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】树莓派/OpenCV/dlib人脸定位/瞌睡检测
机器学习研究会
9+阅读 · 2017年10月24日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
6+阅读 · 2018年4月24日
VIP会员
Top
微信扫码咨询专知VIP会员