成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
动量
关注
58
动量方法 (Polyak, 1964) 旨在加速学习,特别是处理高曲率、小但一致的梯度,或是带噪声的梯度。 动量算法积累了之前梯度指数级衰减的移动平均,并且继续沿该方向移动。
综合
百科
VIP
热门
动态
论文
精华
Accelerated regularized learning in finite N-person games
Arxiv
0+阅读 · 2024年12月29日
A stochastic first-order method with multi-extrapolated momentum for highly smooth unconstrained optimization
Arxiv
0+阅读 · 1月10日
Realizability-Preserving Discontinuous Galerkin Method for Spectral Two-Moment Radiation Transport in Special Relativity
Arxiv
0+阅读 · 1月10日
On Beating $2^n$ for the Closest Vector Problem
Arxiv
0+阅读 · 1月7日
An efficient preconditioner for mixed-dimensional contact poromechanics based on the fixed stress splitting scheme
Arxiv
0+阅读 · 1月13日
A structure-preserving collisional particle method for the Landau kinetic equation
Arxiv
0+阅读 · 2024年12月31日
Decentralized Multi-Antenna Architectures with Unitary Constraints
Arxiv
0+阅读 · 1月10日
SPAM: Spike-Aware Adam with Momentum Reset for Stable LLM Training
Arxiv
0+阅读 · 1月12日
Effects of Turbulence Modeling and Parcel Approach on Dispersed Two-Phase Swirling Flow
Arxiv
0+阅读 · 2024年12月24日
Enforcing the Principle of Locality for Physical Simulations with Neural Operators
Arxiv
0+阅读 · 1月10日
Convergence of SGD with momentum in the nonconvex case: A time window-based analysis
Arxiv
0+阅读 · 2024年12月27日
Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum
Arxiv
0+阅读 · 1月15日
Overshoot: Taking advantage of future gradients in momentum-based stochastic optimization
Arxiv
0+阅读 · 1月16日
Dynami-CAL GraphNet: A Physics-Informed Graph Neural Network Conserving Linear and Angular Momentum for Dynamical Systems
Arxiv
0+阅读 · 1月13日
A decoupled, convergent and fully linear algorithm for the Landau--Lifshitz--Gilbert equation with magnetoelastic effects
Arxiv
0+阅读 · 1月14日
参考链接
父主题
机器学习
神经网络
子主题
Nesterov 动量
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top