会员服务
随机梯度下降，按照数据生成分布抽取m个样本，通过计算他们梯度的平均值来更新梯度。
QLAB: Quadratic Loss Approximation-Based Optimal Learning Rate for Deep Learning
Arxiv
0+阅读 · 2月1日
An SDE for Modeling SAM: Theory and Insights
Arxiv
0+阅读 · 1月31日
Genetically Modified Wolf Optimization with Stochastic Gradient Descent for Optimising Deep Neural Networks
Arxiv
0+阅读 · 1月21日
An SDE for Modeling SAM: Theory and Insights
Arxiv
0+阅读 · 1月19日
A Robust Classification Framework for Byzantine-Resilient Stochastic Gradient Descent
Arxiv
0+阅读 · 1月16日
Scalable Estimation for Structured Additive Distributional Regression
Arxiv
0+阅读 · 1月13日
Benign Underfitting of Stochastic Gradient Descent
Benign Underfitting of Stochastic Gradient Descent
Arxiv
0+阅读 · 1月12日
Fast and Correct Gradient-Based Optimisation for Probabilistic Programming via Smoothing
Arxiv
0+阅读 · 1月9日
On the Convergence of Stochastic Gradient Descent in Low-precision Number Formats
Arxiv
0+阅读 · 1月9日
Is Integer Arithmetic Enough for Deep Learning Training?
Arxiv
0+阅读 · 1月4日
On the Convergence of Stochastic Gradient Descent in Low-precision Number Formats
On the Convergence of Stochastic Gradient Descent in Low-precision Number Formats
Arxiv
0+阅读 · 1月4日
Gradient Descent Ascent for Minimax Problems on Riemannian Manifolds
Arxiv
0+阅读 · 1月2日
Online Statistical Inference for Contextual Bandits via Stochastic Gradient Descent
Online Statistical Inference for Contextual Bandits via Stochastic Gradient Descent
Arxiv
0+阅读 · 2022年12月30日
Communication-Efficient Local SGD with Age-Based Worker Selection
Arxiv
0+阅读 · 2022年12月29日
Attentional-Biased Stochastic Gradient Descent
Arxiv
0+阅读 · 2022年12月25日
参考链接
父主题
深度学习
神经网络
微信扫码咨询专知VIP会员
Top