This paper considers the regularization continuation method and the trust-region updating strategy for the linearly equality-constrained optimization problem. The proposed method utilizes the linear conservation law of the regularization method such that it does not need to compute the correction step for preserving the feasibility other than the previous continuation methods and the quasi-Newton updating formulas for the linearly equality-constrained optimization problem. Moreover, the new method uses the L-BFGS method as the preconditioning technique to improve its computational efficiency in the well-posed phase, and it uses the inverse of the regularization two-sided projected Hessian matrix as the pre-conditioner to improve its robustness. Numerical results also show that the new method is more robust and faster than the traditional optimization method and the recent continuation method. Finally, the global convergence analysis of the new method is also given.


翻译:本文审议了关于受线性平等制约的优化问题的继续正规化方法和信任区更新战略。拟议方法使用正规化方法的线性保护法,因此无需计算保持可行性的纠正步骤,而无需计算以往的继续方法以外的纠正步骤和对受线性平等制约的优化问题的准Newton更新公式。此外,新方法使用L-BFGS方法作为提高井然有序阶段计算效率的前提条件,并用正规化的双面预测黑森矩阵作为提高稳健性的先决条件。数字结果还表明,新方法比传统的优化方法和最近的延续方法更有力、更快。最后,还给出了新方法的全球趋同分析。

0
下载
关闭预览

相关内容

【UAI2021教程】贝叶斯最优学习,65页ppt
专知会员服务
63+阅读 · 2021年8月7日
专知会员服务
50+阅读 · 2020年12月14日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
47+阅读 · 2020年7月4日
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
90+阅读 · 2020年7月4日
强化学习最新教程,17页pdf
专知会员服务
171+阅读 · 2019年10月11日
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
【OpenAI】深度强化学习关键论文列表
专知
11+阅读 · 2018年11月10日
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
Soft-NMS – Improving Object Detection With One Line of Code
统计学习与视觉计算组
6+阅读 · 2018年3月30日
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
BranchOut: Regularization for Online Ensemble Tracking with CNN
统计学习与视觉计算组
9+阅读 · 2017年10月7日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年9月8日
Arxiv
0+阅读 · 2021年9月3日
Arxiv
6+阅读 · 2021年6月24日
Arxiv
5+阅读 · 2017年12月14日
VIP会员
相关VIP内容
【UAI2021教程】贝叶斯最优学习,65页ppt
专知会员服务
63+阅读 · 2021年8月7日
专知会员服务
50+阅读 · 2020年12月14日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
47+阅读 · 2020年7月4日
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
90+阅读 · 2020年7月4日
强化学习最新教程,17页pdf
专知会员服务
171+阅读 · 2019年10月11日
相关资讯
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
【OpenAI】深度强化学习关键论文列表
专知
11+阅读 · 2018年11月10日
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
Soft-NMS – Improving Object Detection With One Line of Code
统计学习与视觉计算组
6+阅读 · 2018年3月30日
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
BranchOut: Regularization for Online Ensemble Tracking with CNN
统计学习与视觉计算组
9+阅读 · 2017年10月7日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员