会员服务
截断，即通过某个阈值来控制系数的大小，若系数小于某个阈值便将该系数设置为0，即简单截断。
Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise
Arxiv
0+阅读 · 11月19日
Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise
Arxiv
0+阅读 · 11月13日
Smoothed Gradient Clipping and Error Feedback for Decentralized Optimization under Symmetric Heavy-Tailed Noise
Arxiv
0+阅读 · 11月11日
Random Function Descent
Arxiv
0+阅读 · 10月15日
From Gradient Clipping to Normalization for Heavy Tailed SGD
Arxiv
0+阅读 · 10月17日
Private and Communication-Efficient Federated Learning based on Differentially Private Sketches
Arxiv
0+阅读 · 10月10日
The Vital Role of Gradient Clipping in Byzantine-Resilient Distributed Learning
Arxiv
0+阅读 · 10月9日
Private and Communication-Efficient Federated Learning based on Differentially Private Sketches
Arxiv
0+阅读 · 10月8日
To Clip or not to Clip: the Dynamics of SGD with Gradient Clipping in High-Dimensions
Arxiv
0+阅读 · 10月6日
A Stochastic Quasi-Newton Method for Non-convex Optimization with Non-uniform Smoothness
Arxiv
0+阅读 · 9月26日
Delving into Differentially Private Transformer
Arxiv
0+阅读 · 8月26日
High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise
Arxiv
0+阅读 · 7月24日
Fine-Tuning Large Language Models with User-Level Differential Privacy
Arxiv
0+阅读 · 7月10日
A Clipped Trip: the Dynamics of SGD with Gradient Clipping in High-Dimensions
Arxiv
0+阅读 · 6月17日
Efficiently Train ASR Models that Memorize Less and Perform Better with Per-core Clipping
Arxiv
0+阅读 · 6月5日
参考链接
父主题
优化算法
微信扫码咨询专知VIP会员
Top