In this paper, we study and prove the non-asymptotic superlinear convergence rate of the Broyden class of quasi-Newton methods including Davidon--Fletcher--Powell (DFP) method and Broyden--Fletcher--Goldfarb--Shanno (BFGS) method. The asymptotic superlinear convergence rate of these quasi-Newton methods has been extensively studied, but their explicit finite time local convergence rate is not fully investigated. In this paper, we provide a finite time (non-asymptotic) convergence analysis for BFGS and DFP methods under the assumptions that the objective function is strongly convex, its gradient is Lipschitz continuous, and its Hessian is Lipschitz continuous only in the direction of the optimal solution. We show that in a local neighborhood of the optimal solution, the iterates generated by both DFP and BFGS converge to the optimal solution at a superlinear rate of $(1/k)^{k/2}$, where $k$ is the number of iterations. We also prove the same local superlinear convergence rate in the case that the objective function is self-concordant. Numerical experiments on different objective functions confirm our explicit convergence rates. Our theoretical guarantee is one of the first results that provide a non-asymptotic superlinear convergence rate for DFP and BFGS quasi-Newton methods.


翻译:在本文中,我们研究并证明准牛顿方法(包括Davidon-Fletcher-Powell(DFP)方法和Broyden-Fletcher-Goldfarb-Shanno(BFGS)方法)的非表面超线性超线性趋同率。这些准牛顿方法(BFGS)的非表面性超线性超线性趋同率得到了广泛的研究,但并未充分调查这些方法的明确有限时间当地趋同率。在本文中,我们为BFGS和DFP方法提供了有限的时间(非表面性)趋同率分析,其假设是:目标功能是很强的 convex,其梯度是Lipschitz-Fletcher-Goldfarb-Shanno(Goldforforb-Shanno)方法,以及BSHiscitzt(Lipschitz)方法只是朝着最佳解决办法的方向持续走下去。我们显示,在最佳解决办法的当地附近地区,DFP和BFGS产生的超线性超线性超线性超线性超线性趋同率率($k) ) 和最优化解决办法最接近最佳解决办法与最佳解决办法相趋同于最接近的融合率。在美元($1/Link-col-col-col-col-col-colental-col-col-colental) 的精确率中,其中, 和我们的不相趋同为一等的理论性试验率。

0
下载
关闭预览

相关内容

专知会员服务
41+阅读 · 2021年4月2日
【经典书】线性代数,Linear Algebra,525页pdf
专知会员服务
75+阅读 · 2021年1月29日
专知会员服务
50+阅读 · 2020年12月14日
专知会员服务
159+阅读 · 2020年1月16日
《自然》(20190829出版)一周论文导读
科学网
6+阅读 · 2019年8月30日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
最佳实践:深度学习用于自然语言处理(三)
待字闺中
3+阅读 · 2017年8月20日
Arxiv
0+阅读 · 2021年8月31日
Arxiv
0+阅读 · 2021年8月30日
VIP会员
相关VIP内容
相关资讯
《自然》(20190829出版)一周论文导读
科学网
6+阅读 · 2019年8月30日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
最佳实践:深度学习用于自然语言处理(三)
待字闺中
3+阅读 · 2017年8月20日
Top
微信扫码咨询专知VIP会员