【泡泡图灵智库】VPGNet：用于车道和道路标志检测与识别的灭点引导网络

泡泡图灵智库，带你精读机器人顶级会议文章

标题：VPGNet: Vanishing Point Guided Network for Lane and Road Marking Detection and Recognition

作者：Seokju Lee，Junsik Kim，Jae Shin Yoon，Seunghak Shin，Oleksandr Bailo，Namil Kim，Tae-Hee Lee，Hyun Seok Hong，Seung-Hoon Han，In So Kweon

来源：arXiv

编译：谭艾琳

审核：杨宇超

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

       大家好，今天为大家带来的文章是——VPGNet：用于车道和道路标志检测与识别的灭点引导网络，该文章发表于arXiv。

本文提出了一种统一的端到端可训练并能处理多任务的网络，它在恶劣天气条件下通过灭点引导，能同时检测并识别车道和道路标记。本文针对的是目前为止由于其挑战性并未被广泛研究的雨天和低照度的情况。本文创建了包含约20000张图像的车道和道路标记基准数据集，其中包含4种不同场景下的17类车道和道路标志：无雨，有雨，大雨和夜晚情形。实验结果表明，本文的方法在各种不同的情形下实时（20fps）达到了最高的准确性和的稳健性。数据集和VPGNet模型将公开可用。

主要贡献

       1.创建了包含约20000张图像的车道和道路标记基准数据集，其中包含4种不同场景下的17类车道和道路标志。

       2.提出了一种统一的端到端可训练，在恶劣天气条件下通过灭点引导能同时检测并识别车道和道路标记的网络。

算法流程

图1 网络架构

       如上图为本文网络大概框架。网络有四个任务模块，每个任务都实现互补性协作：网格框回归，目标检测，多标签分类和灭点预测。该框架可以在单次前向传播中对车道和道路标志进行检测和分类，同时预测灭点区域。

表1 网络结构

       本文提出了一个数据层来引入能同时训练车道和道路标记的网格级标注。网格上的点回归到最近的网格单元并结合一个多标签分类的任务来表示一个目标。这能结合有不同形状和特征的车道和道路标志。

       对于后处理过程，车道类别仅使用多标签任务的输出，道路标志类则使用网格框回归和多标签任务。本文在车道和道路标志训练过程中加上灭点检测任务来推断全局几何上下文。

       1.灭点预测任务（VPP）

       该任务能引导稳健的车道和道路标志检测，如同人类视觉一样。大多数驾驶场景下，无论道路是笔直还是完全，车道和道路标志总会收敛于一点——灭点（VP）。VP可以用于提供场景的全局几何上下文，这对推断车道和道路标志的位置非常重要。

       本文采用交叉熵损失来平衡每个检测任务传播的梯度。首先本文使用二分类方法，直接对背景和前景进行分类。该方法导致训练损失收敛尤其快。

       本文设计了一个新的VPP模块，用全局上下文来预测由于遮挡和极端光照条件下的不可见车道，从而来改善场景呈现。本文使用一个象限模板，将整张图像分成四个象限。这四个部分的交叉点就是VP。用这种方式，可以推出使用包含全局场景结构的四象限部分的灭点VP。

图2 二分和四象限VPP方法可视化输出和损失比较

        2.训练过程

        本文网络包含了四种覆盖不同上下文的任务。检测任务识别目标，包含局部上下文，而VPP任务包含全局上下文。如果这些任务在相同的训练周期一起训练，网络会受某一主要任务的严重影响。为了避免VP给网络提供冗余信息，分两个周期来训练网络，以此平衡两个任务。

       在第一个阶段，只训练VPP任务。直到VP检测任务达到收敛，该阶段的训练结束。第二阶段，使用来自第一阶段的初始化内核训练所有任务。以下为四种任务损失之和：

       3.后处理

       车道：点采样，聚类和车道回归。

       道路标志：网格采样和框聚类。

主要结果

       1 数据集

       本文数据集包含三周内在首尔驾驶时获取的约20000张图像。复杂城市交通场景下的图像包含在一天不同时段不同天气条件下的车道和道路标记。总共标注了包含最常见道路标记在内的17类。不同种类的车道和道路标记上仍然存在数据不平衡。类别和实例数量如表2所示。

表2 数据集中每一类实例数量

       2 实验

       2.1 多任务学习分析

       该部分，本文验证了多任务模块是否有利于对网络训练的提升。本文观测了在特征共享网络中激活的神经元。从底层到高层，抽象程度得到加速。

图3 特征共享网络中的激活神经元

       2.2 评估指标

      车道检测：因为基准库的真值用网格单元标注，本文计算了每个网格单元中心到每个单元车道采样点的最小距离。如果最小距离在边界R之内，将这些采样点标记为true positive以及对应的网格单元标记为detected。还测量了F1分数用于比较。

       道路标志：使用缓和mitigated评价测量。因为本文需要的驾驶是唯一信息就是前方的道路标志而非道路标志的确切边界，本文测量了预测blobs的精度。具体而言，本文计算了所有与真值网格单元重叠的预测单元。重叠单元被标记为true positive cells。如果true positive cells数量比与在一个聚集blobs上的所有预测单元数量一半还多，则覆盖的真值目标被定义为detected。此外，本文还测量了召回分数作为比较。

       VP：本文测量了真值点和预测的VP之间的欧氏距离。召回分数通过到真值灭点的不同阈值距离R来评估。

图4 评估指标的图像化解释

       2.3 车道检测和识别

       本文比较了本文的多任务网络和Caltech Lanes Dataset的基线方法。本文网络实现了最高的F1分数。

图5 基于Caltech lanes dataset的车道检测分数

       本文还提供了基于本文基准数据集的多任务网络的三种版本和FCN-8s分割方法比较。本文网络利用网格级注释，而FCN-8s用像素级和网格级注释分别训练。图6展现了实验结果。很明显，本文方法在恶劣天气场景下对车道检测性能很好。此外，VPGNet的前向传播时间为30ms，而FCN-8s会花费130ms。

图6 基于本文数据集的车道检测分数

        2.4 道路标志检测和识别

       对停止线，直线箭头，人行横道和安全区域评估了同时检测和分类性能。表3表明了3任务网络和4任务网络的性能。

表3 道路标志类的同时检测和分类召回分数（红色：最佳）

       2.5 灭点预测

      左图：第一个周期后的预测和第二个周期后的预测。第二个周期后的预测有极大提升，因为车道和道路标志检测有助于VPP任务。

      右图：每个场景第二个周期后的预测结果。

图7 VPP任务评估

Abstract 

    In this paper, we propose a unified end-to-end trainable multi-task network that jointly handles lane and road marking detection and recognition that is guided by a vanishing point under adverse weather conditions. We tackle rainy and low illumination conditions, which have not been extensively studied until now due to clear challenges. For example, images taken under rainy days are subject to low illumination, while wet roads cause light reflection and distort the appearance of lane and road markings. At night, color distortion occurs under limited illumination. As a result, no benchmark dataset exists and only a few developed algorithms work under poor weather conditions. To address this shortcoming, we build up a lane and road marking benchmark which consists of about 20,000 images with 17 lane and road marking classes under four different scenarios: no rain, rain, heavy rain, and night. We train and evaluate several versions of the proposed multi-task network and validate the importance of each task. The resulting approach,VPGNet, can detect and classify lanes and road markings, and predict a vanishing point with a single forward pass. Experimental results show that our approach achieves high accuracy and robustness under various conditions in realtime (20 fps). The benchmark and the VPGNet model will be publicly available.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

点击阅读原文，即可获取本文下载链接。提取码: mtnh

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com