会员服务
鞍点 · 优化器 · 坐标下降 · 几乎必然 · 局部极小 ·
2021 年 1 月 5 日
On the global convergence of randomized coordinate gradient descent for non-convex optimization
翻译：随机协调梯度梯度下降以优化非电流优化的全球趋同
Ziang Chen,Yingzhou Li,Jianfeng Lu
Ziang Chen,Yingzhou Li,Jianfeng Lu

In this work, we analyze the global convergence property of coordinate gradient descent with random choice of coordinates and stepsizes for non-convex optimization problems. Under generic assumptions, we prove that the algorithm iterate will almost surely escape strict saddle points of the objective function. As a result, the algorithm is guaranteed to converge to local minima if all saddle points are strict. Our proof is based on viewing coordinate descent algorithm as a nonlinear random dynamical system and a quantitative finite block analysis of its linearization around saddle points.


翻译：在这项工作中,我们分析了协调梯度下降的全球趋同属性,并随机选择坐标和步骤,以应对非曲线优化问题。根据通用假设,我们证明算法变换将几乎必然摆脱目标函数的严格马鞍点。因此,如果所有马鞍点都严格,算法将保证与当地小型算法趋同。我们的证据是基于将协调下降算法看成非线性随机动态系统,以及对它围绕马鞍点的线性化进行数量有限的区块分析。
0
下载
关闭预览

相关内容

在数学中，鞍点或极大极小点是函数图形表面上的一点，其正交方向上的斜率(导数)都为零，但它不是函数的局部极值。鞍点是在某一轴向(峰值之间)有一个相对最小的临界点，在交叉轴上有一个相对最大的临界点。
INRIA 最新《机器学习理论》课程笔记，176页pdf
专知会员服务
51+阅读 · 2020年12月14日
【ICML2020】噪声在随机梯度下降中的泛化效益，On the Generalization Benefit of Noise in Stochastic Gradient Descent
【ICML2020】噪声在随机梯度下降中的泛化效益，On the Generalization Benefit of Noise in Stochastic Gradient Descent
专知会员服务
19+阅读 · 2020年6月29日
【快讯】ICML 2020论文出炉，1088篇上榜， 你的paper中了吗？
【快讯】ICML 2020论文出炉，1088篇上榜， 你的paper中了吗？
专知会员服务
52+阅读 · 2020年6月1日
【AdaMod】一个新的深度学习优化与记忆（Meet AdaMod: a new deep learning optimizer with memory）
【AdaMod】一个新的深度学习优化与记忆（Meet AdaMod: a new deep learning optimizer with memory）
专知会员服务
15+阅读 · 2020年1月13日
【ICML2019 tutorial】因果推理和稳定学习（Causal Inference and Stable Learning）
【ICML2019 tutorial】因果推理和稳定学习（Causal Inference and Stable Learning）
专知会员服务
174+阅读 · 2019年12月7日
【IPAM 】张量主元分析中的高维成本景观和梯度下降及其推广（High-dimensional cost landscape and gradient descent in Tensor PCA and its generalisations），附41页pdf
【IPAM 】张量主元分析中的高维成本景观和梯度下降及其推广（High-dimensional cost landscape and gradient descent in Tensor PCA and its generalisations），附41页pdf
专知会员服务
13+阅读 · 2019年11月22日
【课程推荐】理科学校的深度学习（Deep Learning for Science School）
【课程推荐】理科学校的深度学习（Deep Learning for Science School）
专知会员服务
16+阅读 · 2019年11月10日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
35+阅读 · 2019年10月17日
【CMU卡内基梅隆大学】深度学习在计算机视觉的应用：方法，解释，因果与公平性
【CMU卡内基梅隆大学】深度学习在计算机视觉的应用：方法，解释，因果与公平性
专知会员服务
83+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
已删除
已删除
将门创投
6+阅读 · 2019年7月11日
meta learning 17年：MAML SNAIL
meta learning 17年：MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【推荐】决策树/随机森林深入解析
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
On the Convergence and Optimality of Policy Gradient for Markov Coherent Risk
On the Convergence and Optimality of Policy Gradient for Markov Coherent Risk
Arxiv
0+阅读 · 2021年3月5日
Stochastic Gradient Descent Meets Distribution Regression
Arxiv
0+阅读 · 2021年3月5日
Thermodynamic topology optimization including plasticity
Arxiv
0+阅读 · 2021年3月5日
A parabolic local problem with exponential decay of the resonance error for numerical homogenization
Arxiv
0+阅读 · 2021年3月4日
On the Convergence and Optimality of Policy Gradient for Coherent Risk
Arxiv
0+阅读 · 2021年3月4日
Minimax Risk and Uniform Convergence Rates for Nonparametric Dyadic Regression
Arxiv
0+阅读 · 2021年3月4日
On the Universality of the Double Descent Peak in Ridgeless Regression
Arxiv
0+阅读 · 2021年3月3日
Recent advances in deep learning theory
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
Arxiv
8+阅读 · 2018年11月21日
Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Arxiv
9+阅读 · 2018年7月16日
VIP会员
文章信息
前往arXiv
下载PDF
相关主题
鞍点
优化器
坐标下降
几乎必然
局部极小
相关VIP内容
INRIA 最新《机器学习理论》课程笔记，176页pdf
专知会员服务
51+阅读 · 2020年12月14日
【ICML2020】噪声在随机梯度下降中的泛化效益，On the Generalization Benefit of Noise in Stochastic Gradient Descent
【ICML2020】噪声在随机梯度下降中的泛化效益，On the Generalization Benefit of Noise in Stochastic Gradient Descent
专知会员服务
19+阅读 · 2020年6月29日
【快讯】ICML 2020论文出炉，1088篇上榜， 你的paper中了吗？
【快讯】ICML 2020论文出炉，1088篇上榜， 你的paper中了吗？
专知会员服务
52+阅读 · 2020年6月1日
【AdaMod】一个新的深度学习优化与记忆（Meet AdaMod: a new deep learning optimizer with memory）
【AdaMod】一个新的深度学习优化与记忆（Meet AdaMod: a new deep learning optimizer with memory）
专知会员服务
15+阅读 · 2020年1月13日
【ICML2019 tutorial】因果推理和稳定学习（Causal Inference and Stable Learning）
【ICML2019 tutorial】因果推理和稳定学习（Causal Inference and Stable Learning）
专知会员服务
174+阅读 · 2019年12月7日
【IPAM 】张量主元分析中的高维成本景观和梯度下降及其推广（High-dimensional cost landscape and gradient descent in Tensor PCA and its generalisations），附41页pdf
【IPAM 】张量主元分析中的高维成本景观和梯度下降及其推广（High-dimensional cost landscape and gradient descent in Tensor PCA and its generalisations），附41页pdf
专知会员服务
13+阅读 · 2019年11月22日
【课程推荐】理科学校的深度学习（Deep Learning for Science School）
【课程推荐】理科学校的深度学习（Deep Learning for Science School）
专知会员服务
16+阅读 · 2019年11月10日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
35+阅读 · 2019年10月17日
【CMU卡内基梅隆大学】深度学习在计算机视觉的应用：方法，解释，因果与公平性
【CMU卡内基梅隆大学】深度学习在计算机视觉的应用：方法，解释，因果与公平性
专知会员服务
83+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
热门VIP内容
相关资讯
已删除
已删除
将门创投
6+阅读 · 2019年7月11日
meta learning 17年：MAML SNAIL
meta learning 17年：MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【推荐】决策树/随机森林深入解析
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
相关论文
On the Convergence and Optimality of Policy Gradient for Markov Coherent Risk
On the Convergence and Optimality of Policy Gradient for Markov Coherent Risk
Arxiv
0+阅读 · 2021年3月5日
Stochastic Gradient Descent Meets Distribution Regression
Arxiv
0+阅读 · 2021年3月5日
Thermodynamic topology optimization including plasticity
Arxiv
0+阅读 · 2021年3月5日
A parabolic local problem with exponential decay of the resonance error for numerical homogenization
Arxiv
0+阅读 · 2021年3月4日
On the Convergence and Optimality of Policy Gradient for Coherent Risk
Arxiv
0+阅读 · 2021年3月4日
Minimax Risk and Uniform Convergence Rates for Nonparametric Dyadic Regression
Arxiv
0+阅读 · 2021年3月4日
On the Universality of the Double Descent Peak in Ridgeless Regression
Arxiv
0+阅读 · 2021年3月3日
Recent advances in deep learning theory
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
Arxiv
8+阅读 · 2018年11月21日
Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Arxiv
9+阅读 · 2018年7月16日
Top
微信扫码咨询专知VIP会员
Top