First-order methods (FOMs) have been widely used for solving large-scale problems. A majority of existing works focus on problems without constraint or with simple constraints. Several recent works have studied FOMs for problems with complicated functional constraints. In this paper, we design a novel augmented Lagrangian (AL) based FOM for solving problems with non-convex objective and convex constraint functions. The new method follows the framework of the proximal point (PP) method. On approximately solving PP subproblems, it mixes the usage of the inexact AL method (iALM) and the quadratic penalty method, while the latter is always fed with estimated multipliers by the iALM. We show a complexity result of $O(\varepsilon^{-\frac{5}{2}}|\log\varepsilon|)$ for the proposed method to achieve an $\varepsilon$-KKT point. This is the best known result. Theoretically, the hybrid method has lower iteration-complexity requirement than its counterpart that only uses iALM to solve PP subproblems, and numerically, it can perform significantly better than a pure-penalty-based method. Numerical experiments are conducted on nonconvex linearly constrained quadratic programs and nonconvex QCQP. The numerical results demonstrate the efficiency of the proposed methods over existing ones.


翻译:第一阶方法(FOMS)已被广泛用于解决大规模问题。大部分现有工作侧重于没有约束或简单的限制的问题。最近的一些工作已经研究FOMS处理复杂的功能限制问题。在本文中,我们设计了一个基于Lagrangian(AL)的新型FOM(基于Lagrangian(AL)),以解决非convex目标和 convex制约功能的问题。新方法遵循了准点(PPP)方法的框架。在大约解决PP子问题时,它混合了不精密的AL方法(iALM)和等式惩罚方法的使用,而后者总是由ialM(ialM)以估计的乘数填充。我们用美元(\\ varepsilon_\\\\\ frac{5 ⁇ 2 ⁇ log\ varepsilon ⁇ ) 的FOM($) 用于解决非conformal-prequestroduclemental 等问题。这是最已知的结果。从理论上讲,混合方法比对应方法更低异于仅使用 ALM(ial-PM) Qexal-stalimcol-rodustricaltiquest) rodudeal rodustration rodudududududududududustral-stal nual nual nual-stal-stal-stal-stalmax) nual-cal-stal-clegal-clegal-stal-cal-cal-tocal-cleglegal-clemental-tocal roducal-tocal-tocal-tocal-toclemental-todal-todal-tocal-madal-madal-madal-ma-madal-madal-madal-tocal-tocal-tocal-madal-toal-madal-todal-tod-madal-todal-tod-todal-madal-todal-todal-todal-dal-toal-todal-toal-masal-toal-ma-

0
下载
关闭预览

相关内容

知识图谱推理,50页ppt,Salesforce首席科学家Richard Socher
专知会员服务
105+阅读 · 2020年6月10日
【陈天奇】TVM:端到端自动深度学习编译器,244页ppt
专知会员服务
86+阅读 · 2020年5月11日
专知会员服务
60+阅读 · 2020年3月19日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
已删除
AI科技评论
4+阅读 · 2018年8月12日
【TED】同情心的进化论
英语演讲视频每日一推
3+阅读 · 2017年8月16日
VIP会员
相关VIP内容
知识图谱推理,50页ppt,Salesforce首席科学家Richard Socher
专知会员服务
105+阅读 · 2020年6月10日
【陈天奇】TVM:端到端自动深度学习编译器,244页ppt
专知会员服务
86+阅读 · 2020年5月11日
专知会员服务
60+阅读 · 2020年3月19日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
已删除
AI科技评论
4+阅读 · 2018年8月12日
【TED】同情心的进化论
英语演讲视频每日一推
3+阅读 · 2017年8月16日
Top
微信扫码咨询专知VIP会员