Highway merging scenarios featuring mixed traffic conditions pose significant modeling and control challenges for connected and automated vehicles (CAVs) interacting with incoming on-ramp human-driven vehicles (HDVs). In this paper, we present an approach to learn an approximate information state model of CAV-HDV interactions for a CAV to maneuver safely during highway merging. In our approach, the CAV learns the behavior of an incoming HDV using approximate information states before generating a control strategy to facilitate merging. First, we validate the efficacy of this framework on real-world data by using it to predict the behavior of an HDV in mixed traffic situations extracted from the Next-Generation Simulation repository. Then, we generate simulation data for HDV-CAV interactions in a highway merging scenario using a standard inverse reinforcement learning approach. Without assuming a prior knowledge of the generating model, we show that our approximate information state model learns to predict the future trajectory of the HDV using only observations. Subsequently, we generate safe control policies for a CAV while merging with HDVs, demonstrating a spectrum of driving behaviors, from aggressive to conservative. We demonstrate the effectiveness of the proposed approach by performing numerical simulations.


翻译:高速公路并入场景中的混合交通条件为智能和联网汽车(CAVs)与进入的人驾驶汽车(HDVs)相互作用带来了重要的建模和控制挑战。在本文中,我们提出了一种学习CAV-HDV相互作用的近似信息状态模型的方法,以便CAV在高速公路合并时能够安全操纵。在我们的方法中,CAV通过使用近似信息状态学习即将到来的HDV的行为,然后生成控制策略来促进合并。首先,我们通过使用该方法验证了从Next-Generation模拟存储库中提取的混合信号情况下的HDV行为的有效性。然后,我们使用标准的反向强化学习方法生成了HDV-CAV交互的模拟数据,在高速公路合并场景中,这些数据涵盖了各种行驶行为,从激进的到保守的。我们展示了近似信息状态模型在不假定生成模型的先验知识的情况下,只使用观测数据就能够学习预测HDV的未来轨迹。随后,我们为CAV生成了安全控制策略,同时合并HDVs,根据不同的行驶行为,从激进到保守。我们通过数值模拟展示了所提出方法的有效性。

0
下载
关闭预览

相关内容

会议涵盖了从理论结果到具体应用的各个方面,重点讨论了实际的验证工具以及实现这些工具所需的算法和技术。CAV认为,在向生物系统和计算机安全等新领域扩展的同时,继续推动硬件和软件验证的进步至关重要。会议记录将发表在《计算机科学》系列的斯普林格-维拉格讲稿中。预计将邀请一些论文参加《系统设计中的形式化方法》专刊和《ACM杂志》。官网链接:http://i-cav.org/2019/
【CTH博士论文】基于强化学习的自动驾驶决策,149页pdf
专知会员服务
56+阅读 · 2023年2月18日
《行为与认知机器人学》,241页pdf
专知会员服务
53+阅读 · 2021年4月11日
自动驾驶技术解读——自动驾驶汽车决策控制系统
智能交通技术
30+阅读 · 2019年7月7日
【泡泡汇总】最强 SLAM Datasets 合辑
泡泡机器人SLAM
17+阅读 · 2019年5月27日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
【泡泡一分钟】DS-SLAM: 动态环境下的语义视觉SLAM
泡泡机器人SLAM
23+阅读 · 2019年1月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【泡泡一分钟】动态环境下稳健的单目SLAM
泡泡机器人SLAM
13+阅读 · 2018年3月22日
【推荐】(TensorFlow)SSD实时手部检测与追踪(附代码)
机器学习研究会
11+阅读 · 2017年12月5日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
41+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年5月22日
VIP会员
相关VIP内容
【CTH博士论文】基于强化学习的自动驾驶决策,149页pdf
专知会员服务
56+阅读 · 2023年2月18日
《行为与认知机器人学》,241页pdf
专知会员服务
53+阅读 · 2021年4月11日
相关资讯
自动驾驶技术解读——自动驾驶汽车决策控制系统
智能交通技术
30+阅读 · 2019年7月7日
【泡泡汇总】最强 SLAM Datasets 合辑
泡泡机器人SLAM
17+阅读 · 2019年5月27日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
【泡泡一分钟】DS-SLAM: 动态环境下的语义视觉SLAM
泡泡机器人SLAM
23+阅读 · 2019年1月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【泡泡一分钟】动态环境下稳健的单目SLAM
泡泡机器人SLAM
13+阅读 · 2018年3月22日
【推荐】(TensorFlow)SSD实时手部检测与追踪(附代码)
机器学习研究会
11+阅读 · 2017年12月5日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
41+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员