Recently, convex nested stochastic composite optimization (NSCO) has received considerable attention for its application in reinforcement learning and risk-averse optimization. However, In the current literature, there exists a significant gap in the iteration complexities between these NSCO problems and other simpler stochastic composite optimization problems (e.g., sum of smooth and nonsmooth functions) without the nested structure. In this paper, we close the gap by reformulating a class of convex NSCO problems as "$\min\max\ldots \max$" saddle point problems under mild assumptions and proposing two primal-dual type algorithms with the optimal $\mathcal{O}\{1/\epsilon^2\}$ (resp., $\mathcal{O}\{1/\epsilon\}$) complexity for solving nested (resp., strongly) convex problems. More specifically, for the often-considered two-layer smooth-nonsmooth problem, we introduce a simple vanilla stochastic sequential dual (SSD) algorithm which can be implemented purely in the primal form. For the multi-layer problem, we propose a general stochastic sequential dual framework. The framework consists of modular dual updates for different types of functions (smooth, smoothable, and non-smooth, etc.), so that it can handle a more general composition of layer functions. Moreover, we present modular convergence proofs to show that the complexity of the general SSD is optimal with respect to nearly all the problem parameters.


翻译:最近,混凝土嵌套式复合优化(NSCO)在强化学习和风险反优化方面的应用受到相当重视。然而,在目前的文献中,这些NSCO问题与其他更简单的混合优化问题(如平滑和非平滑功能之和)之间在迭代复杂性(如平滑和非平滑功能之和)没有嵌套结构的问题之间,存在着很大的差距。在本文中,我们通过将一类NSCO问题重塑为“$\min\max\ldots\maxxxlock点在轻度假设下的问题,并提出了两种原始型算法(SSD)与最优的 $\ mathcal{O{1/\\\\ epslon}2 ⁇ $(respresp.,$maxcalcalcal) 问题来弥合这一差距。更具体地说,对于经常考虑的双层平滑度问题来说,我们引入了简单的分级双向双向(SSD) 算法(SSD) 的两种函数可以完全的双向级更新。

0
下载
关闭预览

相关内容

最新《深度持续学习》综述论文,32页pdf
专知会员服务
178+阅读 · 2020年9月7日
最新《图嵌入组合优化》综述论文,40页pdf
专知会员服务
75+阅读 · 2020年8月31日
【斯坦福】凸优化圣经- Convex Optimization (附730pdf下载)
专知会员服务
215+阅读 · 2020年6月5日
强化学习最新教程,17页pdf
专知会员服务
171+阅读 · 2019年10月11日
最新《图嵌入组合优化》综述论文,40页pdf
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
8+阅读 · 2018年12月28日
OpenAI丨深度强化学习关键论文列表
中国人工智能学会
17+阅读 · 2018年11月10日
【OpenAI】深度强化学习关键论文列表
专知
11+阅读 · 2018年11月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2021年5月11日
VIP会员
相关VIP内容
相关资讯
最新《图嵌入组合优化》综述论文,40页pdf
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
8+阅读 · 2018年12月28日
OpenAI丨深度强化学习关键论文列表
中国人工智能学会
17+阅读 · 2018年11月10日
【OpenAI】深度强化学习关键论文列表
专知
11+阅读 · 2018年11月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员