会员服务
随机梯度下降，按照数据生成分布抽取m个样本，通过计算他们梯度的平均值来更新梯度。
A stochastic gradient descent algorithm with random search directions
Arxiv
0+阅读 · 4月1日
Learning a Single Index Model from Anisotropic Data with vanilla Stochastic Gradient Descent
Arxiv
0+阅读 · 3月31日
Nested Stochastic Gradient Descent for (Generalized) Sinkhorn Distance-Regularized Distributionally Robust Optimization
Arxiv
0+阅读 · 3月29日
Almost Bayesian: The Fractal Dynamics of Stochastic Gradient Descent
Almost Bayesian: The Fractal Dynamics of Stochastic Gradient Descent
Arxiv
0+阅读 · 3月28日
Numerical approximation of McKean-Vlasov SDEs via stochastic gradient descent
Arxiv
0+阅读 · 2月28日
Nonasymptotic Analysis of Stochastic Gradient Descent with the Richardson-Romberg Extrapolation
Arxiv
0+阅读 · 3月3日
Online Inference for Quantiles by Constant Learning-Rate Stochastic Gradient Descent
Arxiv
0+阅读 · 3月4日
Truncated Kernel Stochastic Gradient Descent on Spheres
Arxiv
0+阅读 · 3月24日
The global convergence time of stochastic gradient descent in non-convex landscapes: Sharp estimates via large deviations
Arxiv
0+阅读 · 3月20日
On the Utility of Equal Batch Sizes for Inference in Stochastic Gradient Descent
Arxiv
0+阅读 · 3月26日
Non-convergence to the optimal risk for Adam and stochastic gradient descent optimization in the training of deep neural networks
Arxiv
0+阅读 · 3月3日
Stochastic Gradient Descent Revisited
Arxiv
0+阅读 · 3月7日
Stochastic Modified Flows for Riemannian Stochastic Gradient Descent
Arxiv
0+阅读 · 3月7日
A stochastic gradient descent algorithm with random search directions
Arxiv
0+阅读 · 3月25日
Learning of deep convolutional network image classifiers via stochastic gradient descent and over-parametrization
Arxiv
0+阅读 · 3月5日
参考链接
父主题
深度学习
神经网络
微信扫码咨询专知VIP会员
Top