成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
动量
关注
57
动量方法 (Polyak, 1964) 旨在加速学习,特别是处理高曲率、小但一致的梯度,或是带噪声的梯度。 动量算法积累了之前梯度指数级衰减的移动平均,并且继续沿该方向移动。
综合
百科
VIP
热门
动态
论文
精华
Merchants of Vulnerabilities: How Bug Bounty Programs Benefit Software Vendors
Arxiv
0+阅读 · 4月26日
Numerical integrators for confined Langevin dynamics
Arxiv
0+阅读 · 4月25日
Lion Secretly Solves Constrained Optimization: As Lyapunov Predicts
Arxiv
0+阅读 · 4月19日
In-Context Learning State Vector with Inner and Momentum Optimization
Arxiv
0+阅读 · 4月17日
Stochastic Normalized Gradient Descent with Momentum for Large-Batch Training
Arxiv
0+阅读 · 4月15日
The Collisional Particle-In-Cell Method for the Vlasov-Maxwell-Landau Equations
Arxiv
0+阅读 · 3月31日
On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm
Arxiv
0+阅读 · 4月15日
On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm
Arxiv
0+阅读 · 4月11日
Momentum-based gradient descent methods for Lie groups
Arxiv
0+阅读 · 4月14日
Convergence Guarantees for RMSProp and Adam in Generalized-smooth Non-convex Optimization with Affine Noise Variance
Arxiv
0+阅读 · 4月1日
Convergence Guarantees for RMSProp and Adam in Generalized-smooth Non-convex Optimization with Affine Noise Variance
Arxiv
0+阅读 · 4月3日
Privacy Engineering From Principles to Practice: A Roadmap
Arxiv
0+阅读 · 4月4日
Global Momentum Compression for Sparse Communication in Distributed Learning
Arxiv
0+阅读 · 4月3日
Deep Unrolling Networks with Recurrent Momentum Acceleration for Nonlinear Inverse Problems
Arxiv
0+阅读 · 3月31日
On discrete ground states of rotating Bose-Einstein condensates
Arxiv
0+阅读 · 3月25日
参考链接
父主题
机器学习
神经网络
子主题
Nesterov 动量
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top