会员服务
Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity
Arxiv
0+阅读 · 9月26日
SGD Convergence under Stepsize Shrinkage in Low-Precision Training
Arxiv
0+阅读 · 8月10日
SGD Convergence under Stepsize Shrinkage in Low-Precision Training
Arxiv
0+阅读 · 8月24日
Low-Rank Adaptation Secretly Imitates Differentially Private SGD
Arxiv
0+阅读 · 7月9日
Low-Rank Adaptation Secretly Imitates Differentially Private SGD
Arxiv
0+阅读 · 6月3日
Leveraging Coordinate Momentum in SignSGD and Muon: Memory-Optimized Zero-Order
Arxiv
0+阅读 · 6月11日
DNT: a Deeply Normalized Transformer that can be trained by Momentum SGD
Arxiv
0+阅读 · 7月23日
Adam Exploits $\ell_\infty$-geometry of Loss Landscape via Coordinate-wise Adaptivity
Arxiv
0+阅读 · 6月11日
Emergence of Hebbian Dynamics in Regularized Non-Local Learners
Arxiv
0+阅读 · 5月23日
Rapid Overfitting of Multi-Pass Stochastic Gradient Descent in Stochastic Convex Optimization
Arxiv
0+阅读 · 5月13日
Pseudo-Asynchronous Local SGD: Robust and Efficient Data-Parallel Training
Arxiv
0+阅读 · 4月25日
Evaluation of A National Digitally-Enabled Health Promotion Campaign for Mental Health Awareness using Social Media Platforms Tik Tok, Facebook, Instagram, and YouTube
Arxiv
0+阅读 · 9月26日
DPQuant: Efficient and Differentially-Private Model Training via Dynamic Quantization Scheduling
Arxiv
0+阅读 · 9月3日
Balancing Utility and Privacy: Dynamically Private SGD with Random Projection
Arxiv
0+阅读 · 9月11日
Balancing Utility and Privacy: Dynamically Private SGD with Random Projection
Arxiv
0+阅读 · 9月12日
参考链接
微信扫码咨询专知VIP会员
Top