We introduce a contractive abstract dynamic programming framework and related policy iteration algorithms, specifically designed for sequential zero-sum games and minimax problems with a general structure. Aside from greater generality, the advantage of our algorithms over alternatives is that they resolve some long-standing convergence difficulties of the "natural" policy iteration algorithm, which have been known since the Pollatschek and Avi-Itzhak method [PoA69] for finite-state Markov games. Mathematically, this "natural" algorithm is a form of Newton's method for solving Bellman's equation, but Newton's method, contrary to the case of single-player DP problems, is not globally convergent in the case of a minimax problem, because the Bellman operator may have components that are neither convex nor concave. Our algorithms address this difficulty by introducing alternating player choices, and by using a policy-dependent mapping with a uniform sup-norm contraction property, similar to earlier works by Bertsekas and Yu [BeY10], [BeY12], [YuB13]. Moreover, our algorithms allow a convergent and highly parallelizable implementation, which is based on state space partitioning, and distributed asynchronous policy evaluation and policy improvement operations within each set of the partition. Our framework is also suitable for the use of reinforcement learning methods based on aggregation, which may be useful for large-scale problem instances.


翻译:我们引入了契约式的抽象动态编程框架和相关的政策迭代算法,这些算法是专为连续零和游戏和一般结构的小问题设计的。除了更为笼统外,我们的算法对替代方法的优势在于它们解决了“自然”政策迭代算法(Pollatschek 和 Avi-Itzhak 方法[PoA69] 以来已知的“自然”转换算法(PoA69] 的“自然”算法(Pollatschek 和 Avi-Itzhak 方法(PoA69 ), 用于限定状态的Markov游戏。从数学角度讲,这种“自然”算法是牛顿解决贝尔曼方程式等式的方法的一种形式,但与单一玩家DP问题的情况相反,我们的算法的这一方法在全球范围并非趋同,因为Bertsekas和Yu[Bey10] 的算法操作中,[Y12],[Yu-nable 的算法系统操作可能使得我们以高度的平行的分类化和平行的校正的校正化政策框架得以使用。

0
下载
关闭预览

相关内容

专知会员服务
52+阅读 · 2020年9月7日
强化学习和最优控制的《十个关键点》81页PPT汇总
专知会员服务
103+阅读 · 2020年3月2日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
这么多年,终于知道为啥右指针不能往回走了
九章算法
5+阅读 · 2019年4月15日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
【OpenAI】深度强化学习关键论文列表
专知
11+阅读 · 2018年11月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
1+阅读 · 2021年12月12日
Arxiv
0+阅读 · 2021年12月6日
VIP会员
相关资讯
这么多年,终于知道为啥右指针不能往回走了
九章算法
5+阅读 · 2019年4月15日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
【OpenAI】深度强化学习关键论文列表
专知
11+阅读 · 2018年11月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员