【CORL2020最佳系统论文奖】可扩展多智能体强化学习学校

《SMARTS: Scalable Multi-Agent Reinforcement Learning Training School for Autonomous Driving》.

获奖理由：

本文提出了一个完善且经过深思熟虑的系统，对自动驾驶社区具有巨大的潜在影响。

论文简介： 多智能体交互是现实世界中自动驾驶的基础，尽管人们已经进行了十多年的研究和发展，但如何在各种情况下与各种道路车辆（智能体）进行有效交互的问题仍未解决。Learning的方法可以为解决这个问题提供很多帮助，但是这一方法需要一个现实的多智能体模拟器，该模拟器会产生多种多样且有效的驾驶交互。为了满足这一需求，我们开发了一个专用的仿真平台：SMARTS (Scalable Multi-Agent RL Training School)：可扩展多智能体强化学习学校。

上图是SMARTS 模型架构，其交互方案是使用特定领域语言（DSL）定义的。Social智能体是从“ Social智能体Zoo”中实例化而来。橙色车辆由学智能体控制、深蓝色车辆由 Social智能体控制、浅蓝色车辆由交通服务提供商控制。原则上，所有提供程序和智能体都可以在自己的进程中运行，也可以远程运行。SMARTS支持训练、积累和使用道路用户的各种行为模型，这些反过来又可以用于创建越来越现实和多样化的交互，从而可以对多智能体交互进行更深入、更广泛的研究。在本文中，我们描述了SMARTS的设计目标，解释了SMARTS的基本体系架构和关键功能，并通过在交互场景中进行具体的多智能体实验来说明其用法。

最后，我们开源了SMARTS平台以及相关的基准测试任务和性能评估指标，以鼓励和支持针对自动驾驶的多智能体学习的研究。