会员服务
随机梯度下降，按照数据生成分布抽取m个样本，通过计算他们梯度的平均值来更新梯度。
Analysis of Kinetic Models for Label Switching and Stochastic Gradient Descent
Arxiv
0+阅读 · 7月1日
Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks
Arxiv
0+阅读 · 6月29日
Depth-2 Neural Networks Under a Data-Poisoning Attack
Arxiv
0+阅读 · 6月29日
Topology-aware Generalization of Decentralized SGD
Arxiv
0+阅读 · 6月28日
Topology-aware Generalization of Decentralized SGD
Arxiv
0+阅读 · 6月25日
Federated learning: Applications, challenges and future directions
Arxiv
0+阅读 · 6月24日
Stability vs Implicit Bias of Gradient Methods on Separable Data and Beyond
Arxiv
0+阅读 · 6月23日
On Uniform Boundedness Properties of SGD and its Momentum Variants
Arxiv
0+阅读 · 6月22日
Towards Noise-adaptive, Problem-adaptive (Accelerated) Stochastic Gradient Descent
Arxiv
0+阅读 · 6月20日
A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates
Arxiv
0+阅读 · 6月21日
SoteriaFL: A Unified Framework for Private Federated Learning with Communication Compression
Arxiv
0+阅读 · 6月20日
Deep learning, stochastic gradient descent and diffusion maps
Arxiv
0+阅读 · 6月17日
Disparate Impact in Differential Privacy from Gradient Misalignment
Arxiv
0+阅读 · 6月15日
Implicit Regularization or Implicit Conditioning? Exact Risk Trajectories of SGD in High Dimensions
Arxiv
0+阅读 · 6月15日
Asynchronous SGD Beats Minibatch SGD Under Arbitrary Delays
Arxiv
0+阅读 · 6月15日
参考链接
父主题
深度学习
神经网络
微信扫码咨询专知VIP会员
Top