Despite deep reinforcement learning has recently achieved great successes, however in multiagent environments, a number of challenges still remain. Multiagent reinforcement learning (MARL) is commonly considered to suffer from the problem of non-stationary environments and exponentially increasing policy space. It would be even more challenging to learn effective policies in circumstances where the rewards are sparse and delayed over long trajectories. In this paper, we study Hierarchical Deep Multiagent Reinforcement Learning (hierarchical deep MARL) in cooperative multiagent problems with sparse and delayed rewards, where efficient multiagent learning methods are desperately needed. We decompose the original MARL problem into hierarchies and investigate how effective policies can be learned hierarchically in synchronous/asynchronous hierarchical MARL frameworks. Several hierarchical deep MARL architectures, i.e., Ind-hDQN, hCom and hQmix, are introduced for different learning paradigms. Moreover, to alleviate the issues of sparse experiences in high-level learning and non-stationarity in multiagent settings, we propose a new experience replay mechanism, named as Augmented Concurrent Experience Replay (ACER). We empirically demonstrate the effects and efficiency of our approaches in several classic Multiagent Trash Collection tasks, as well as in an extremely challenging team sports game, i.e., Fever Basketball Defense.


翻译:尽管最近深层强化学习取得了巨大成功,但在多试剂环境中,仍然存在一些挑战。多试剂强化学习(MARL)通常被认为受到非静止环境和急剧增加的政策空间问题的影响。在奖赏稀少、长期轨迹拖延的情况下,学习有效政策将更加困难。在本论文中,我们研究了高层次深层多试剂强化学习(高层次深层MARL)在合作性多试剂问题中缺乏丰富和延迟的奖励,在多试剂环境中迫切需要有效的多试剂学习方法。我们把最初的MARL问题分解成等级,并研究如何在同步/不同步的MARL框架下从上学习有效政策。一些高层次的MARL结构,即Ind-HDQN、hCom和hQmix,被引入不同的学习模式。此外,为了减轻高层次学习和不固定的多试剂环境中的少经验问题,我们提出了一个新的经验再扮演机制,称为高清晰的国防经验重塑性游戏,我们作为极具挑战性的体育竞赛团队。我们的经验展示了一种极具挑战性的工作效率。

6
下载
关闭预览

相关内容

深度强化学习策略梯度教程,53页ppt
专知会员服务
143+阅读 · 2020年2月1日
【强化学习资源集合】Awesome Reinforcement Learning
专知会员服务
73+阅读 · 2019年12月23日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
40+阅读 · 2019年10月17日
强化学习三篇论文 避免遗忘等
CreateAMind
13+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
16+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
12+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
7+阅读 · 2019年1月18日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
RL 真经
CreateAMind
4+阅读 · 2018年12月28日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
强化学习族谱
CreateAMind
18+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
10+阅读 · 2019年11月14日
Arxiv
7+阅读 · 2019年4月19日
Arxiv
6+阅读 · 2018年12月26日
Relational Deep Reinforcement Learning
Arxiv
6+阅读 · 2018年6月28日
A Multi-Objective Deep Reinforcement Learning Framework
Arxiv
11+阅读 · 2018年4月25日
VIP会员
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
13+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
16+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
12+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
7+阅读 · 2019年1月18日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
RL 真经
CreateAMind
4+阅读 · 2018年12月28日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
强化学习族谱
CreateAMind
18+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Arxiv
10+阅读 · 2019年11月14日
Arxiv
7+阅读 · 2019年4月19日
Arxiv
6+阅读 · 2018年12月26日
Relational Deep Reinforcement Learning
Arxiv
6+阅读 · 2018年6月28日
A Multi-Objective Deep Reinforcement Learning Framework
Arxiv
11+阅读 · 2018年4月25日
Top
微信扫码咨询专知VIP会员