会员服务
动量方法 (Polyak, 1964) 旨在加速学习，特别是处理高曲率、小但一致的梯度，或是带噪声的梯度。 动量算法积累了之前梯度指数级衰减的移动平均，并且继续沿该方向移动。
AI in Computational Thinking Education in Higher Education: A Systematic Literature Review
Arxiv
0+阅读 · 10月8日
Staggered time discretization in finitely-strained heterogeneous visco-elastodynamics with damage or diffusion in the Eulerian frame
Arxiv
0+阅读 · 10月11日
MLorc: Momentum Low-rank Compression for Memory Efficient Large Language Model Adaptation
Arxiv
0+阅读 · 10月12日
From Birdwatch to Community Notes, from Twitter to X: four years of community-based content moderation
Arxiv
0+阅读 · 10月10日
Distributed Low-Communication Training with Decoupled Momentum Optimization
Arxiv
0+阅读 · 10月3日
ReLI: A Language-Agnostic Approach to Human-Robot Interaction
Arxiv
0+阅读 · 10月6日
Adaptive Memory Momentum via a Model-Based Framework for Deep Learning Optimization
Arxiv
0+阅读 · 10月6日
Modeling Market States with Clustering and State Machines
Arxiv
0+阅读 · 10月1日
A finite element solver for a thermodynamically consistent electrolyte model
Arxiv
0+阅读 · 10月1日
TADA: Improved Diffusion Sampling with Training-free Augmented Dynamics
Arxiv
0+阅读 · 9月30日
Institutional Policy Pathways for Supporting Research Software: Global Trends and Local Practices
Arxiv
0+阅读 · 9月30日
User-Centric Comparison of 5G NTN and DVB-S2/RCS2 Using OpenAirInterface and OpenSAND
Arxiv
0+阅读 · 9月30日
AuON: A Linear-time Alternative to Semi-Orthogonal Momentum Updates
AuON: A Linear-time Alternative to Semi-Orthogonal Momentum Updates
Arxiv
0+阅读 · 9月30日
AuON: A Linear-time Alternative to Semi-Orthogonal Momentum Updates
Arxiv
0+阅读 · 9月29日
Continuous-Time Analysis of Heavy Ball Momentum in Min-Max Games
Arxiv
0+阅读 · 5月26日
参考链接
父主题
机器学习
神经网络
子主题
Nesterov 动量
微信扫码咨询专知VIP会员
Top