In this paper, we provide exponential rates of convergence to the Nash equilibrium for continuous-time dual-space game dynamics such as mirror descent (MD) and actor-critic (AC). We perform our analysis in $N$-player continuous concave games that are either potential games or monotone games but possibly potential-free. In the first part of this paper, we provide a novel relative characterization of monotone games and show that MD and its discounted version converge with $\mathcal{O}(e^{-\beta t})$ in relatively strongly and relatively hypo-monotone games, respectively. In the second part of this paper, we specialize our results to games that admit a relatively strongly concave potential and show that MD and AC converge with $\mathcal{O}(e^{-\beta t})$. Moreover, these rates extend their known convergence conditions. Simulations are performed which empirically back up our results.


翻译:在本文的第一部分,我们提供了与Nash平衡的指数性趋同率,用于连续时间的双空间游戏动态,如镜底(MD)和演员-critic(AC)等。我们用美元玩家连续的组合游戏进行分析,这些游戏可能是潜在的游戏或单调游戏,但可能是没有的。在本文的第一部分,我们提供了单调游戏的新颖相对特征,并显示MD及其折扣版与$mathcal{O}(e\\\\\\beta t})(e\\\\\\beta t})($ mathcal{O}(e\\\\\beta t})(e\mathcal{O})(e\\\\beta t})(e\\\beta t})(e\\\\\\beta t}(e\\\\\\ a)相配合。在相对强和相对低调的游戏中。在本文的游戏中,我们把我们的结果专门用于承认相对强烈的组合潜力的游戏,显示MDDD和AC会合。

0
下载
关闭预览

相关内容

专知会员服务
50+阅读 · 2020年12月14日
专知会员服务
44+阅读 · 2020年10月31日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
9+阅读 · 2018年12月28日
spinningup.openai 强化学习资源完整
CreateAMind
6+阅读 · 2018年12月17日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
EM算法的九层境界:​Hinton和Jordan理解的EM算法
算法与数学之美
5+阅读 · 2018年7月31日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年9月28日
VIP会员
相关资讯
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
9+阅读 · 2018年12月28日
spinningup.openai 强化学习资源完整
CreateAMind
6+阅读 · 2018年12月17日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
EM算法的九层境界:​Hinton和Jordan理解的EM算法
算法与数学之美
5+阅读 · 2018年7月31日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员