Policy gradient methods are often applied to reinforcement learning in continuous multiagent games. These methods perform local search in the joint-action space, and as we show, they are susceptable to a game-theoretic pathology known as relative overgeneralization. To resolve this issue, we propose Multiagent Soft Q-learning, which can be seen as the analogue of applying Q-learning to continuous controls. We compare our method to MADDPG, a state-of-the-art approach, and show that our method achieves better coordination in multiagent cooperative tasks, converging to better local optima in the joint action space.


翻译:政策梯度方法通常用于在连续多试剂游戏中强化学习。 这些方法在联合行动空间进行本地搜索, 正如我们所显示的, 它们被一种被称为相对超一般化的游戏理论病理学所接受。 为了解决这个问题, 我们建议多试剂软性Q- 学习, 这可以被视为对连续控制应用Q- 学习的类比。 我们比较了我们的方法和MADDPG, 这是一种最先进的方法, 并表明我们的方法在多试剂合作任务中实现了更好的协调, 在联合行动空间中融合到更好的本地选择。

11
下载
关闭预览

相关内容

深度强化学习策略梯度教程,53页ppt
专知会员服务
135+阅读 · 2020年2月1日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
34+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
99+阅读 · 2019年10月11日
MIT新书《强化学习与最优控制》
专知会员服务
202+阅读 · 2019年10月9日
强化学习扫盲贴:从Q-learning到DQN
夕小瑶的卖萌屋
41+阅读 · 2019年10月13日
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
RL 真经
CreateAMind
4+阅读 · 2018年12月28日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
10+阅读 · 2018年4月27日
一个强化学习 Q-learning 算法的简明教程
数据挖掘入门与实战
9+阅读 · 2018年3月18日
强化学习族谱
CreateAMind
18+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Accelerated Methods for Deep Reinforcement Learning
Arxiv
5+阅读 · 2019年1月10日
Arxiv
6+阅读 · 2018年12月26日
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
6+阅读 · 2018年9月25日
Arxiv
4+阅读 · 2018年6月12日
VIP会员
相关VIP内容
相关资讯
强化学习扫盲贴:从Q-learning到DQN
夕小瑶的卖萌屋
41+阅读 · 2019年10月13日
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
RL 真经
CreateAMind
4+阅读 · 2018年12月28日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
10+阅读 · 2018年4月27日
一个强化学习 Q-learning 算法的简明教程
数据挖掘入门与实战
9+阅读 · 2018年3月18日
强化学习族谱
CreateAMind
18+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员