机器人学习大会CoRL 2020 最佳论文出炉！华为诺亚、上海交大获最佳系统论文奖

作者 | 陈大鑫

今日，CoRL 2020最佳论文奖、最佳系统论文奖、最佳论文展示奖等各项大奖出炉！

官网链接：https://www.robot-learning.org/program/awards

本次CoRL 2020最佳论文奖由自斯坦福大学和弗吉尼亚理工大学团队获得；

最佳系统论文奖由华为诺亚方舟、上海交大、伦敦大学学院团队获得；

最佳论文展示奖由南加州大学团队获得。

1

CoRL大会介绍

CoRL的全称为Conference on Robot Learning（机器人学习大会），顾名思义，这是一个以机器人和机器学习为主题的学术会议。

而AI科技评论也注意到，近期的顶级机器人大会如IROS上，机器人与人工智能两个社区正在打破之前互不往来的格局，不仅越来越多机器人领域的学者在将机器学习应用到自己的研究中，一些人工智能领域的知名学者如李飞飞团队也已涉足机器人领域的研究，两个社区之间的交流越来越密切，CoRL的诞生可谓是正逢其时。

在CoRL官网，组委会这样描述举办CoRL的缘由：

CoRL是一个新的以机器人学和机器学习为主题的年度国际会议。第一次会议已于2017年11月13日至15日在加利福尼亚州山景城举行，旨在汇聚约250名从事机器人学和机器学习领域的最优秀的研究者参会。

机器人技术，自主感知和控制领域正在经历一场机器学习革命，现在正是时候提供一个将机器学习的基本进展与机器人应用和理论的实证研究相结合的场所。

我们的目标是使CoRL成为机器人（机器）学习研究的首选大会。

大会的组织者包括来自UC Berkrley、Google、Microsoft、CMU、MIT、ETH、Deepmind等知名院校和知名企业的研究者和从业者，同时CoRL大会的举办还得到了机器人国际机构“三巨头”之一的国际机器人研究基金会（IFRR）和机器学习领域最好的期刊之一JMLR（Journal of Machine Learning Research）的支持。

机器人学习大会（CoRL）自2017年推出以来，已迅速成为机器人技术与机器学习交叉领域的全球顶级学术盛会之一：“针对机器人学习研究的大会，涵盖了机器人技术、机器学习和控制等广泛主题，包括理论和应用各方面。”

今年，CoRL 2020有475篇论文投稿，比2019年增加了20％。

最后，共有165篇论文被接收，接受率为34.7％，略高于去年的27.6％。

下图为自2017年-2020年CoRL论文投稿数量增长趋势图：

下图为自2017年-2020年CoRL论文接受率变化图：

2

最佳论文奖

本次荣获CoRL最佳论文奖的是来自斯坦福大学和弗吉尼亚理工大学合作的《Learning Latent Representations to Influence Multi-Agent Interaction》。

• 论文链接：https://arxiv.org/pdf/2011.06619.pdf

• 作者: Annie Xie, Dylan P. Losey, Ryan Tolsma, Chelsea Finn, Dorsa Sadigh.

获奖理由：

本文提出了一个令人信服的解决方案，解决了包括竞争性物理机器人环境在内的多个领域的难题。

论文介绍：

智能体与人类或机器人的无缝交互很困难，因为现实环境是动态变化的，并根据自智能体的行为更新策略，而自智能体必须预测这些变化以随机应变。

受人类行为启发，我们认识到机器人不需要显式地为另一个智能体要进行的每一个低级动作建模；相反，我们可以通过高级表征来捕捉其他智能体的潜在策略。

我们提出了一个基于强化学习的学习框架来学习一个智能体策略的潜在表示，其中自智能体识别其行为与另一个智能体的未来策略之间的关系。

图注：本文提出的学习和利用潜在意图的方法框架

然后，自智能体利用这些潜在的动力来影响另一个智能体，有目的地引导他们走向共同适应的策略。

在多个模拟领域和一个真实的空中曲棍球游戏中，本文的方法要优于其他方法，并学会了影响其他智能体。

CoRL 2020最佳论文提名：

3

最佳系统论文奖

本次荣获CoRL最佳系统论文奖的是来自华为诺亚方舟、上海交大周铭、伦敦大学学院团队合作的一篇论文：《SMARTS: Scalable Multi-Agent Reinforcement Learning Training School for Autonomous Driving》.

• 论文链接：https://arxiv.org/pdf/2010.09776.pdf
  

• 开源代码：https://github.com/huawei-noah/SMARTS.

论文作者：

华为诺亚方舟实验室： 郝建业、汪军、罗军、刘武龙、张洪波、邵坤、杨耀东等人。

上海交通大学： 周铭、缪佳宇、张伟楠等人。

获奖理由：

本文提出了一个完善且经过深思熟虑的系统，对自动驾驶社区具有巨大的潜在影响。

论文介绍：

多智能体交互是现实世界中自动驾驶的基础，尽管人们已经进行了十多年的研究和发展，但如何在各种情况下与各种道路车辆（智能体）进行有效交互的问题仍未解决。

Learning的方法可以为解决这个问题提供很多帮助，但是这一方法需要一个现实的多智能体模拟器，该模拟器会产生多种多样且有效的驾驶交互。

为了满足这一需求，我们开发了一个专用的仿真平台：SMARTS (Scalable Multi-Agent RL Training School)：可扩展多智能体强化学习学校。

上图是SMARTS 模型架构，其交互方案是使用特定领域语言（DSL）定义的。Social智能体是从“ Social智能体Zoo”中实例化而来。橙色车辆由学智能体控制、深蓝色车辆由 Social智能体控制、浅蓝色车辆由交通服务提供商控制。

原则上，所有提供程序和智能体都可以在自己的进程中运行，也可以远程运行。

SMARTS支持训练、积累和使用道路用户的各种行为模型，这些反过来又可以用于创建越来越现实和多样化的交互，从而可以对多智能体交互进行更深入、更广泛的研究。

在本文中，我们描述了SMARTS的设计目标，解释了SMARTS的基本体系架构和关键功能，并通过在交互场景中进行具体的多智能体实验来说明其用法。

最后，我们开源了SMARTS平台以及相关的基准测试任务和性能评估指标，以鼓励和支持针对自动驾驶的多智能体学习的研究。

最佳系统论文奖提名

4

最佳论文展示奖

本次荣获CoRL 2020最佳论文展示奖的是来自南加州大学的一篇论文：

《Accelerating Reinforcement Learning with Learned Skill Priors》。

• 论文链接：https://arxiv.org/pdf/2010.11944.pdf

• 项目主页：https://clvrai.github.io/spirl/

获奖理由：

本文展示了很棒的可视化和样例来为相关问题提供了灵感、动机和解决方案。

论文介绍：

智能体在学习新任务时会严重依赖先前的经验，但是大多数现代强化学习（RL）方法都是从头开始学习每个任务的。利用先验知识的一种方法是将在先前任务中学习的技能转移到新任务上。

但是，随着先验经验的增加，可迁移技能的数量也随之增加，这使得在下游学习中探索全套可用技能具有挑战性。

然而，从直觉上讲，并非所有技能都应以同等的概率进行探索；例如，有关当前状态的信息可以提示智能体希望探索哪些技能。

在这项工作中，我们建议通过学习先验技能来实现这种直觉。我们提出了一个深度潜在变量（ deep latent variable）模型：

该模型可以从离线智能体经验中共同学习技能的嵌入空间和技能。

然后，我们扩展常见的最大熵RL方法以使用先验技能来指导下游学习。我们在复杂的导航和机器人操纵任务上验证了我们的方法SPiRL（Skill-Prior RL），并证明了学习先验技能对于从丰富数据集中进行有效技能迁移至关重要。

最佳论文展示奖提名：

文末附上大会颁奖组织委员线上合影:

关于CoRL更多内容请查看大会官网：

https://www.robot-learning.org/home

以及Youtube上的大会视频：

https://www.youtube.com/watch?v=8afHfReCfPo

---

点击阅读原文，直达EMNLP小组！