会员服务
Rethinking Weight Decay for Robust Fine-Tuning of Foundation Models
Arxiv
0+阅读 · 11月3日
Global Convergence in Training Large-Scale Transformers
Arxiv
0+阅读 · 10月31日
SGD and Weight Decay Secretly Minimize the Rank of Your Neural Network
Arxiv
0+阅读 · 10月18日
Wide Neural Networks Trained with Weight Decay Provably Exhibit Neural Collapse
Arxiv
0+阅读 · 10月7日
Towards Better Generalization: Weight Decay Induces Low-rank Bias for Neural Networks
Arxiv
0+阅读 · 10月3日
Highly Accurate Robot Calibration Using Adaptive and Momental Bound with Decoupled Weight Decay
Arxiv
0+阅读 · 8月22日
On the Overlooked Pitfalls of Weight Decay and How to Mitigate Them: A Gradient-Norm Perspective
Arxiv
0+阅读 · 8月16日
Rotational Equilibrium: How Weight Decay Balances Learning Across Neural Networks
Arxiv
0+阅读 · 6月3日
PhiNets: Brain-inspired Non-contrastive Learning Based on Temporal Prediction Hypothesis
Arxiv
0+阅读 · 5月23日
Lion Secretly Solves Constrained Optimization: As Lyapunov Predicts
Arxiv
0+阅读 · 4月19日
Decoupled Weight Decay for Any $p$ Norm
Arxiv
0+阅读 · 4月22日
Decoupled Weight Decay for Any $p$ Norm
Arxiv
0+阅读 · 4月16日
Implicit Bias of AdamW: $\ell_\infty$ Norm Constrained Optimization
Arxiv
0+阅读 · 4月5日
Hallmarks of Optimization Trajectories in Neural Networks and LLMs: The Lengths, Bends, and Dead Ends
Arxiv
0+阅读 · 3月12日
Tune without Validation: Searching for Learning Rate and Weight Decay on Training Sets
Arxiv
0+阅读 · 3月8日
参考链接
微信扫码咨询专知VIP会员
Top