深度强化学习(RL)在各个领域取得了显著的成功,包括在围棋和国际象棋等游戏中的使用。最近,深度多智能体强化学习(MARL)引起了广泛关注,因为大量现实世界的问题可以自然地在MARL环境中表示。例如,自主车辆与无人机或机器人编队的协调控制需要多个智能体根据局部观察采取行动并协调其行为。然而,单智能体深度强化学习和多智能体深度强化学习都面临着一个共同的挑战:数据效率低和训练时间长。本文向解决该问题迈出了一步:如何使(多智能体)深度强化学习更有效,即如何使用更少的数据和减少训练时间?本文从五个方面解决深度强化学习的训练时间长和数据效率低的问题:(1)并行高通量训练;(2)更好的表示学习;(3)迁移学习;(4)高效探索;(5)训练智能体以利用外部知识。对于1),为了实现更高的强化学习训练吞吐量,我们提出了一个快速强化学习训练框架,该框架并行收集数据,而不牺牲强化学习算法的数据效率。对于2),研究了图卷积网络的使用,以捕获MARL中常用的集中式批评器的排列不变性质。我们发现这可以导致更有效的学习。研究了一种以物体为中心的表示,将多智能体RL算法扩展到复杂的视觉环境。3)为了让强化学习智能体利用经过训练的智能体的"知识",本文提出了一个迁移学习框架,该框架允许学生模型利用多个教师模型的"知识"。我们发现这种迁移可以导致更快的学习。对于4),研究了协调的多智能体探索,这允许智能体协调它们的探索努力,并更快地学习。最后,对于5),本文提出了"知识询问" (AFK),一个学习生成语言命令以查询有意义的知识的智能体,以更有效地解决给定的任务。综上所述,本文研究了提高深度强化学习数据效率和训练时间的方法。我们相信,通过更短的训练时间和更好的数据效率,(多智能体)深度强化学习可以应用于各种现实世界的问题,本文提出的方法使我们更接近这一目标。

成为VIP会员查看完整内容
64

相关内容

【CMU博士论文】强化学习泛化性与效率研究,206页pdf
专知会员服务
67+阅读 · 2023年2月23日
【牛津大学博士论文】元强化学习的快速自适应,217页pdf
【港科大博士论文】高效迁移学习的低资源自然语言理解
【MIT博士论文】数据高效强化学习,176页pdf
专知会员服务
80+阅读 · 2022年7月11日
【CMU博士论文】机器人深度强化学习,128页pdf
专知会员服务
123+阅读 · 2020年8月27日
专知会员服务
198+阅读 · 2019年8月30日
【MIT博士论文】数据高效强化学习,176页pdf
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
9+阅读 · 2011年12月31日
国家自然科学基金
42+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年3月7日
Arxiv
0+阅读 · 2023年3月7日
Arxiv
11+阅读 · 2018年4月25日
VIP会员
相关VIP内容
【CMU博士论文】强化学习泛化性与效率研究,206页pdf
专知会员服务
67+阅读 · 2023年2月23日
【牛津大学博士论文】元强化学习的快速自适应,217页pdf
【港科大博士论文】高效迁移学习的低资源自然语言理解
【MIT博士论文】数据高效强化学习,176页pdf
专知会员服务
80+阅读 · 2022年7月11日
【CMU博士论文】机器人深度强化学习,128页pdf
专知会员服务
123+阅读 · 2020年8月27日
专知会员服务
198+阅读 · 2019年8月30日
相关基金
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
9+阅读 · 2011年12月31日
国家自然科学基金
42+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员