自动驾驶行业蓬勃发展,而其中的辅助驾驶系统 (ADAS) 或者 L2 到 L4 的驾驶场景都需要提供一些车道线检测功能如 Automated Lane Centering (ALC) 和 Lane Departure Warning (LDW)。这其中的核心模块就是一个鲁棒的,泛化性能好的车道线检测器。而随着深度学习的不断演进,2D 车道线检测已经有了较为成熟的做法。但是 2D 车道线其实是无法满足工业界的真正需求,主要体现在两点。
1. 下游的规控模块需要车道线检测发生在鸟瞰图视角(BEV),而仅作简单的前视图到鸟瞰图的投影会极大依赖于相机参数,而这在实际场景中是很难获取到准确的真值。
2. 车道线的高度信息在投影过程中占有很重要的地位,尤其是在上下坡场景中,高度信息会极大的影响投影质量,而之前的投影做法是在水平路面的假设上进行的。而目前市面上缺少一个带高度信息的车道线数据集。
针对这些问题,上海人工智能实验室自动驾驶团队的研究员分别提出了 PersFormer(Perspective Transformer)一种端到端的单目 3D 车道线检测器,和大规模真实场景 3D 车道数据集——OpenLane。
分享主题:OpenLane——大规模真实场景 3D 车道线数据集
分享嘉宾:司马崇昊,上海人工智能实验室自动驾驶团队青年研究员,主要研究方向为计算机视觉在自动驾驶领域的应用,包括 3D 感知,道路结构认知等。本科毕业于华中科技大学。
分享摘要:
传统的单目 2D 车道检测方案在自动驾驶的跟踪规划和控制任务中性能较差;3D 车道检测方案在前视图和鸟瞰视图(BEV)之间的空间转换设计过于简单,并且缺乏真实的数据,在复杂场景下不适用。针对这些问题,团队提出了 PersFormer (Perspective Transformer):一种端到端的单目 3D 车道线检测器,其中有一个基于 Transformer 的空间特征转换模块。模型以相机参数为参考,通过关注相关的前视图局部区域来生成 BEV 特征。同时,在该论文中发布了业内第一个大规模真实场景 3D 车道数据集——OpenLane,具有高质量的注释和场景多样性。该数据集基于自动驾驶领域的主流数据集 Waymo Open Dataset 构建。OpenLane 包含 20 万帧、超过 88 万条实例级车道、14 个车道类别(单白色虚线、双黄色实体、左/右路边等),以及场景标签和路线邻近目标(CIPO)注释,以鼓励开发 3D 车道检测和更多与产业相关的自动驾驶方法。
相关链接:
1、PersFormer
论文地址:
https://arxiv.org/abs/2203.11089
项目地址:
https://github.com/OpenPerceptionX/PersFormer_3DLane
2、OpenLane
论文地址:
https://arxiv.org/abs/2203.11089
项目地址:
https://github.com/OpenPerceptionX/OpenLane