Imitation learning is a powerful approach for learning autonomous driving policy by leveraging data from expert driver demonstrations. However, driving policies trained via imitation learning that neglect the causal structure of expert demonstrations yield two undesirable behaviors: inertia and collision. In this paper, we propose Causal Imitative Model (CIM) to address inertia and collision problems. CIM explicitly discovers the causal model and utilizes it to train the policy. Specifically, CIM disentangles the input to a set of latent variables, selects the causal variables, and determines the next position by leveraging the selected variables. Our experiments show that our method outperforms previous work in terms of inertia and collision rates. Moreover, thanks to exploiting the causal structure, CIM shrinks the input dimension to only two, hence, can adapt to new environments in a few-shot setting. Code is available at https://github.com/vita-epfl/CIM.


翻译:模拟学习是利用专家驾驶员演示中的数据学习自主驱动政策的有力方法。然而,通过模拟学习所培训的忽视专家示范的因果结构的驾驶政策产生了两种不可取的行为:惯性与碰撞。在本文中,我们提出“因果模拟模型”以解决惯性与碰撞问题。CIM明确发现因果模型,并利用它来培训政策。具体地说,CIM将输入的内容与一组潜在变量脱钩,选择因果变量,并通过利用选定的变量确定下一个位置。我们的实验表明,我们的方法在惯性与碰撞率方面超过了先前的工作。此外,由于利用因果结构,CIM将输入的层面缩小至仅两个,因此,CIM可以在几眼环境中适应新的环境。代码可在https://github.com/vita-epfl/CIM上查阅。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
专知会员服务
94+阅读 · 2021年8月28日
「因果发现和因果推理」简明介绍,37页ppt
专知会员服务
114+阅读 · 2021年4月5日
元强化学习综述及前沿进展
专知会员服务
61+阅读 · 2021年1月31日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
已删除
清华大学研究生教育
3+阅读 · 2018年6月30日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Imitation by Predicting Observations
Arxiv
4+阅读 · 2021年7月8日
VIP会员
相关资讯
已删除
清华大学研究生教育
3+阅读 · 2018年6月30日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Top
微信扫码咨询专知VIP会员