成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
权重衰减
关注
0
综合
百科
VIP
热门
动态
论文
精华
Lion Secretly Solves Constrained Optimization: As Lyapunov Predicts
Arxiv
0+阅读 · 4月19日
Decoupled Weight Decay for Any $p$ Norm
Arxiv
0+阅读 · 4月22日
Decoupled Weight Decay for Any $p$ Norm
Arxiv
0+阅读 · 4月16日
Implicit Bias of AdamW: $\ell_\infty$ Norm Constrained Optimization
Arxiv
0+阅读 · 4月5日
Hallmarks of Optimization Trajectories in Neural Networks and LLMs: The Lengths, Bends, and Dead Ends
Arxiv
0+阅读 · 3月12日
Tune without Validation: Searching for Learning Rate and Weight Decay on Training Sets
Arxiv
0+阅读 · 3月8日
To grok or not to grok: Disentangling generalization and memorization on corrupted algorithmic datasets
Arxiv
0+阅读 · 3月4日
Rotational Equilibrium: How Weight Decay Balances Learning Across Neural Networks
Arxiv
0+阅读 · 2月21日
Neural Rank Collapse: Weight Decay and Small Within-Class Variability Yield Low-Rank Bias
Arxiv
0+阅读 · 2月6日
Exploring Weight Balancing on Long-Tailed Recognition Problem
Arxiv
0+阅读 · 1月29日
Constrained Parameter Regularization
Arxiv
0+阅读 · 2023年12月6日
Dichotomy of Early and Late Phase Implicit Biases Can Provably Induce Grokking
Arxiv
0+阅读 · 2023年11月30日
Lion Secretly Solves Constrained Optimization: As Lyapunov Predicts
Arxiv
0+阅读 · 2023年11月28日
Lion Secretly Solves Constrained Optimization: As Lyapunov Predicts
Arxiv
0+阅读 · 2023年11月23日
New Horizons in Parameter Regularization: A Constraint Approach
Arxiv
0+阅读 · 2023年11月15日
参考链接
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top