会员服务
Low-rank bias, weight decay, and model merging in neural networks
Arxiv
0+阅读 · 2月24日
How to set AdamW's weight decay as you scale model and dataset size
Arxiv
0+阅读 · 2月2日
Structure Development in List-Sorting Transformers
Arxiv
0+阅读 · 1月30日
Solving Inverse Problems with Deep Linear Neural Networks: Global Convergence Guarantees for Gradient Descent with Weight Decay
Arxiv
0+阅读 · 2月21日
Online Reinforcement Learning-Based Dynamic Adaptive Evaluation Function for Real-Time Strategy Tasks
Arxiv
0+阅读 · 1月7日
Rethinking Weight Decay for Robust Fine-Tuning of Foundation Models
Arxiv
0+阅读 · 2024年11月3日
Global Convergence in Training Large-Scale Transformers
Arxiv
0+阅读 · 2024年10月31日
SGD and Weight Decay Secretly Minimize the Rank of Your Neural Network
Arxiv
0+阅读 · 2024年10月18日
Wide Neural Networks Trained with Weight Decay Provably Exhibit Neural Collapse
Arxiv
0+阅读 · 2024年10月7日
Towards Better Generalization: Weight Decay Induces Low-rank Bias for Neural Networks
Arxiv
0+阅读 · 2024年10月3日
Highly Accurate Robot Calibration Using Adaptive and Momental Bound with Decoupled Weight Decay
Arxiv
0+阅读 · 2024年8月22日
On the Overlooked Pitfalls of Weight Decay and How to Mitigate Them: A Gradient-Norm Perspective
Arxiv
0+阅读 · 2024年8月16日
Rotational Equilibrium: How Weight Decay Balances Learning Across Neural Networks
Arxiv
0+阅读 · 2024年6月3日
PhiNets: Brain-inspired Non-contrastive Learning Based on Temporal Prediction Hypothesis
Arxiv
0+阅读 · 2024年5月23日
Lion Secretly Solves Constrained Optimization: As Lyapunov Predicts
Arxiv
0+阅读 · 2024年4月19日
参考链接
微信扫码咨询专知VIP会员
Top