会员服务
随机梯度下降，按照数据生成分布抽取m个样本，通过计算他们梯度的平均值来更新梯度。
Derivatives of Stochastic Gradient Descent in parametric optimization
Arxiv
0+阅读 · 11月20日
An Energy-Based Self-Adaptive Learning Rate for Stochastic Gradient Descent: Enhancing Unconstrained Optimization with VAV method
Arxiv
0+阅读 · 11月10日
Stochastic gradient descent in continuous time for drift identification in multiscale diffusions
Arxiv
0+阅读 · 11月11日
Parameter Symmetry and Noise Equilibrium of Stochastic Gradient Descent
Arxiv
0+阅读 · 11月7日
Exponential convergence rates for momentum stochastic gradient descent in the overparametrized setting
Arxiv
0+阅读 · 11月6日
Losing momentum in continuous-time stochastic optimisation
Arxiv
0+阅读 · 11月5日
Efficient high-resolution refinement in cryo-EM with stochastic gradient descent
Arxiv
0+阅读 · 10月30日
Stochastic Gradient Descent Jittering for Inverse Problems: Alleviating the Accuracy-Robustness Tradeoff
Arxiv
0+阅读 · 10月18日
Certified Machine Unlearning via Noisy Stochastic Gradient Descent
Arxiv
0+阅读 · 10月11日
Trustworthiness of Stochastic Gradient Descent in Distributed Learning
Arxiv
0+阅读 · 10月28日
Stochastic Gradient Descent for Nonparametric Regression
Arxiv
0+阅读 · 10月22日
Efficient Sign-Based Optimization: Accelerating Convergence via Variance Reduction
Arxiv
0+阅读 · 10月23日
Error estimates between SGD with momentum and underdamped Langevin diffusion
Arxiv
0+阅读 · 10月22日
Stochastic gradient descent in high dimensions for multi-spiked tensor PCA
Arxiv
0+阅读 · 10月23日
Limit Theorems for Stochastic Gradient Descent with Infinite Variance
Arxiv
0+阅读 · 10月25日
参考链接
父主题
深度学习
神经网络
微信扫码咨询专知VIP会员
Top