In this paper, we consider a prototypical convex optimization problem with multi-block variables and separable structures. By adding the Logarithmic Quadratic Proximal (LQP) regularizer with suitable proximal parameter to each of the first grouped subproblems, we develop a partial LQP-based Alternating Direction Method of Multipliers (ADMM-LQP). The dual variable is updated twice with relatively larger stepsizes than the classical region $(0,\frac{1+\sqrt{5}}{2})$. Using a prediction-correction approach to analyze properties of the iterates generated by ADMM-LQP, we establish its global convergence and sublinear convergence rate of $O(1/T)$ in the new ergodic and nonergodic senses, where $T$ denotes the iteration index. We also extend the algorithm to a nonsmooth composite convex optimization and establish {similar convergence results} as our ADMM-LQP.


翻译:在本文中, 我们考虑的是多区变量和可分离结构的原型二次曲线优化问题。 通过在第一个分组子问题中添加配有适当准参数的对数二次曲线调节器( LQP), 我们开发了部分基于 LQP 的倍增效应方向法( ADMM- LQP) 。 双倍变量更新了两次, 其步骤比经典区域( 0. \ frac{ 1 { { { scrt{ 5 ⁇ 2} 美元) 的要大一倍。 通过使用预测- 校正法分析由 ADMM- LQP 生成的二次曲线属性, 我们建立了其全球趋同率和亚线性趋同率, 在新的ERGodidic 和非 感中, $T 表示循环指数。 我们还将算法扩展为非摩特复合convex优化, 并确立 { 类似趋同结果} 我们的 ADMMM- LQP 。

0
下载
关闭预览

相关内容

【图与几何深度学习】Graph and geometric deep learning,49页ppt
专知会员服务
50+阅读 · 2020年12月14日
应用机器学习书稿,361页pdf
专知会员服务
57+阅读 · 2020年11月24日
【干货书】机器学习速查手册,135页pdf
专知会员服务
124+阅读 · 2020年11月20日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
人工智能 | COLT 2019等国际会议信息9条
Call4Papers
6+阅读 · 2018年9月21日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
五个精彩实用的自然语言处理资源
机器学习研究会
6+阅读 · 2018年2月23日
已删除
将门创投
4+阅读 · 2017年11月1日
【计算机类】期刊专刊/国际会议截稿信息6条
Call4Papers
3+阅读 · 2017年10月13日
Arxiv
0+阅读 · 2021年5月20日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
人工智能 | COLT 2019等国际会议信息9条
Call4Papers
6+阅读 · 2018年9月21日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
五个精彩实用的自然语言处理资源
机器学习研究会
6+阅读 · 2018年2月23日
已删除
将门创投
4+阅读 · 2017年11月1日
【计算机类】期刊专刊/国际会议截稿信息6条
Call4Papers
3+阅读 · 2017年10月13日
Top
微信扫码咨询专知VIP会员