会员服务
截断，即通过某个阈值来控制系数的大小，若系数小于某个阈值便将该系数设置为0，即简单截断。
Nonconvex Stochastic Optimization under Heavy-Tailed Noises: Optimal Convergence without Gradient Clipping
Arxiv
0+阅读 · 2024年12月27日
On the Convergence of DP-SGD with Adaptive Clipping
Arxiv
0+阅读 · 2024年12月27日
Optimized Gradient Clipping for Noisy Label Learning
Arxiv
1+阅读 · 2024年12月19日
Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise
Arxiv
0+阅读 · 2024年11月19日
Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise
Arxiv
0+阅读 · 2024年11月13日
Smoothed Gradient Clipping and Error Feedback for Decentralized Optimization under Symmetric Heavy-Tailed Noise
Arxiv
0+阅读 · 2024年11月11日
Random Function Descent
Arxiv
0+阅读 · 2024年10月15日
From Gradient Clipping to Normalization for Heavy Tailed SGD
Arxiv
0+阅读 · 2024年10月17日
Private and Communication-Efficient Federated Learning based on Differentially Private Sketches
Arxiv
0+阅读 · 2024年10月10日
The Vital Role of Gradient Clipping in Byzantine-Resilient Distributed Learning
Arxiv
0+阅读 · 2024年10月9日
Private and Communication-Efficient Federated Learning based on Differentially Private Sketches
Arxiv
0+阅读 · 2024年10月8日
To Clip or not to Clip: the Dynamics of SGD with Gradient Clipping in High-Dimensions
Arxiv
0+阅读 · 2024年10月6日
A Stochastic Quasi-Newton Method for Non-convex Optimization with Non-uniform Smoothness
Arxiv
0+阅读 · 2024年9月26日
Delving into Differentially Private Transformer
Arxiv
0+阅读 · 2024年8月26日
High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise
Arxiv
0+阅读 · 2024年7月24日
参考链接
父主题
优化算法
微信扫码咨询专知VIP会员
Top