基于环视的道路标线检测与识别

基于环视的道路标线检测与识别 | 厚势汽车

2018 年 3 月 21 日 厚势顾霄琳/杨明/王冰

厚势按：本文针对传统道路标线检测系统采用前视摄像头易受车辆遮挡等问题，提出了一种基于环视的多类型道路标线检测与识别方法。

该方法利用车辆四周的路面信息，根据近视野道路标线呈直线的特性，采用 Hough 变换提取环视图像主方向以矫正图像角度，然后建立 x 方向统计直方图提取行车线区域，对此区域建立 y 方向统计直方图进一步提取标线特征，通过特征分析识别道路标线的虚实和线数信息，利用 HSV 色彩分析获取颜色信息。

最后分别用卡尔曼滤波器和置信度度量方法对检测和识别结果进行滤波并实现检测。实验结果表明该方法对环视图像中的道路标线有很高的检测率和识别率。

本文来自 2014 年 01 月 10 日出版的《 华中科技大学学报（自然科学版）》，作者是上海交通大学自动化系系统控制与信息处理教育部重点实验室的顾霄琳、杨明教授和王冰高工以及上海交通大学机器人研究所的王春香副教授。

基于视觉的道路标线提取一直是智能交通领域的重要组成部分，它为车辆的辅助驾驶和自主导航提供基础。至今已有大量研究围绕于此，方法上可归结为基于特征和基于模型两种，如典型的有基于模板匹配的 LOIS 系统 [1]，基于 3D 道路模型的 GOLD 系统 [2] 等，也有针对复杂道路环境的车道检测，如文献 [3-4]。

然而，大部分研究工作致力于道路标线的检测与跟踪，对于行车线类型识别研究却很少。行车线类型为车辆辅助驾驶和自主导航提供了重要线索，如白色单虚线划分同向车道，允许变道，而双黄线划分不同方向的车道，不允许变道。

现有的基于视觉的行车线检测大多采用前向视角的摄像头 [5-8]，虽然可视范围较远，但远处行车线分辨率低，且易受逆光影响和车辆遮挡。相对于车辆前方，车辆两侧的道路标线不易受别的车辆干扰，可靠性较高。

车载环视系统利用安装在车身四周的鱼眼相机获得图像，通过图像畸变校正、逆透视变换及图像拼接融合得到环视图像，其视野集中于车辆四周较近范围内，可以提供车辆两侧及前后方向清晰的车道线信息，且视野范围内呈现直线特征，有助于类型识别。

近年来车载环视系统的使用也越来越广泛，基于环视的车道线检测不论从应用性还是从成本方面都有较大优势。因此，本研究在环视系统的基础上对道路标线信息的检测方法进行了研究。

1. 行车线检测与识别

近视野范围道路标线可近似为直线，因此对于环视图像，可通过 Hough 变换对图像进行主方向提取与矫正，据此建立 x 和 y 方向统计直方图，并结合色彩空间对行车线类型进行分类。

1.1 基于 Hough 变换的图像角度校正

环视系统的图像序列以车辆行进方向为主方向，行车线随车辆偏航而旋转。为使方法具有旋转不变性，须进行角度矫正，使图像规整为以行车线方向为主方向 [9]。由于环视视野内的行车线呈明显的直线特征，因此采用 Hough 变换进行角度矫正有很好的效果。

图 1 图像角度性

在提取主方向之前，首先要对行车线进行特征粗提取，形成特征图。由于行车线具有明显的宽度特征和上升、下降边缘特征，利用改进的边缘检测算子可提取出满足要求的特征点，去噪后得到特征图（如图 1(b) 所示）

对特征图进行 Hough 变换 [10]，得到一类平行线，从中选取最长的线段，作为图像的主方向。在完成了图像主方向提取后，利用主方向对图像进行旋转矫正（如图1（d）所示）。在主方向矫正角度为 θ、矫正基准点为车辆中心（x_c, y_c）的情况下，矫正前图像中的某一个像素点（x, y）在矫正后的坐标（u, v）为：

1.2 行车线区域提取

完成图像角度矫正后，图像的 y 方向与主方向基本平行。为提取行车线区域，建立和角度矫正后图像 x 方向尺度相同的多维累加器，根据矫正后特征图中特征点在 x 方向投影的位置对累加器进行累加，从而获得整幅图像的 x 方向统计直方图。

图 2 行车线区域提取

图 3 行车线类型识别

每条行车线均会产生一个峰值，如图 2 所示。当某侧有多个峰值产生时，须对其进行约束，若两个峰值的距离不大于双线间距，则将其融合，否则进行非极大抑制，筛选出最大值，其位置记为 x^t，t 为 L 表示左侧，t 为 R 表示右侧。行车线兴趣区域被限制为（x^t - e，x^t + e），e 为检测裕度。同时可计算车辆中心与车道偏离 λ_t＝| x_c - x^t |。

1.3 行车线类型识别

行车线区域提取将感兴趣缩小至每条行车线两侧很小范围内，大大减小了噪声干扰。对于每个兴趣区域，建立 y 方向统计直方图，统计图像在该方向上产生的边缘对。一个边缘对由一个上升沿和一个下降沿组成，本文使用具有亚像素精度的边缘检测方法提高准确度 [11]，用滑动平均法滤除由标线部分模糊等因素造成的噪声，得到一条类方波曲线，如图 3 所示，其中：ｍ为边缘对统计值；w 为 y 轴尺度；w_(s,i) 为相应长度。

从 y 方向统计直方图中可获得用于行车线类型识别的特征，

可得到如下几个重要特征量：

利用这三个特征对行车线进行分析，便能识别其单/双，虚/实信息。若是单实线，r_s 应当接近于 1，r_d 为 0；若是虚实线，r_s 和 r_d 应大于一定的阈值；若 F 过大，则有很大可能受到噪声干扰。

1.4 行车线颜色识别

RGB 颜色空间是一种不均匀的颜色空间，不适合彩色图像的分割。HSV 颜色空间将色彩分为色度、饱和度和亮度，分割的效果相对于 RGB 的要好很多[12]。

目前存在的行车线均为白色或黄色。对 1.2 节中提取的对应于道路标线的像素点，按其 HSV 色彩特征，设定阈值进行颜色归类。当某个颜色占主导地位时，将该颜色作为识别结果。

2. 滤波

尽管环视系统大大较高了行车线检测的可靠性，但检测结果仍会受到车辆换道、标线模糊等因素的影响，导致行车线区域提取失败。为此，利用检测过程中得到的参数进行卡尔曼滤波。

2.1 卡尔曼滤波

假定车辆在运动过程中保持匀速，对于左侧行车线，其状态为：

系统可描述为：

式中 W_k 是系统噪声，假定它为高斯白噪声，其协方差不随系统状态变化而改变。

为得到最优估计，将逐帧检测结果作为系统观测值送入滤波器迭代。将检测值与卡尔曼滤波器的预测值进行比较，若误差在设定阈值内，则检测值有效，否则以预测值作为观测值进行下一次迭代 [13]。若累计否定次数超过阈值，则重启迭代过程。对于右侧行车线进行同样的滤波。

2.2 置信度度量

卡尔曼滤波提高了行车线区域检测的准确性，对于类型识别，本研究采用置信度度量方法。选择亮度作为置信度度量标准，在提取的行车线区域内计算边缘的平均置信度为：

若置信度 C 大于阈值，则识别有效，否则认为标线模糊，将上一帧识别结果作为本帧结果。

3. 实验结果与分析

3.1 实验平台

实验所用为环视平台，车辆的前后左右各安装了一个鱼眼相机，采集到的图像接入车内嵌入式系统实时合成。行车线检测与识别由小型计算机进行处理，处理器主频为 3.10 GHz，内存 2 GB。

3.2 实验结果

使用环视系统采集了大量数据进行检测与识别，并从中选出 1200 张涵盖 2316 条道路标线的图像进行统计，检测结果如下：召回率 R＝99.96％，精确度Ｐ＝97.23％，R 和Ｐ的计算公式为 R＝T/(T+F1)，Ｐ＝T/(T+F2)，其中：T 为正确检测到行车线的数量；F_1 为漏检的数量；F_2 为检测错误的数量。识别结果如表 1 所示。

表 1 基于环视的行车线识别结果

图 4 实验结果

图 4 给出了部分实验结果，其中包含了虚线、实线、双黄线等多种类型及有干扰情况下的识别结果。从实验结果可以看出，本研究基于环视的道路标线检测算法有很高的精确度。

参考文献

[1] LakshmananS, KlugeK. LOIS:A real-time lane detection algorithm [C]//Proceedings of the 30th Annual Conference on Information Sciences and Systems.Princeton: CISS, 1996: 1007-1012

[2] Bertozzi M, Broggi A. GOLD—a parallel real-time Stereo vision system for generic obstacle and lane detection [C]//IEEE Trans Image Process. Princeton:CISS, 1998, 7: 62-81

[3] KimZW. Robust lane detection and tracking in challenging scenarios [J]. IEEE Transactions On Intelligent Transportation Systems, 2008, 9(1):16-26

[4] GuoC, MitaS, McAllester D. Lane detection and tracking in challenging environment based on a weighted graph and integrated cues [C]//IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway: IEEE, 2010:5543-5550

[5] Wang Y, Shen D, TeohE K. Lane detection using Catmull-Romspline [C] // IEEE International Conference on Intelligent Vehicles. Piscataway: IEEE,1998:51-57

[6] Chen W K. Linear networks and systems [M]. Belmont: Wadsworth, 1993

[7] Aly M. Real time detection of lane marks in urban Streets [C] // IEEE Symposium on Intelligent Vehicles. Piscataway: IEEE, 2008: 7-12

[8] Aufrere R, ChapuisR, Chausse F. A model-driven Approach for real-time road recognition [J]. Mach Vis Appl, 2001, 13: 95-107

[9] 陈放. 道路交通标线检测识别与建图方法研究 [D]. 上海：上海交通大学自动化系，2011

[10] Duda R O, Hart PE: Use of the Hough transformation to detect lines and curves in pictures [J]. Comm ACM, 1972, 15:11-15

[11] GioiRG, JakubowiczJ, MorelJ, etal. LSD: a fast Line segment detector with a false detection control[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(4): 722-732

[12] 田巍，庄镇泉. 基于 HSV 色彩空间的自适应肤色检测 [J]. 计算机工程与应用, 2004, 14: 81-85

[13] 马超. 基于单目视觉的车道偏离预警系统设计 [D]. 成都：电子科技大学电子工程学院, 2008

编辑整理：厚势分析师盖布林

转载请注明来自厚势和厚势公号：iHoushi

-END-

文章精选

企业家

马斯克和贾跃亭｜福特CEO下台｜正道汽车仰融

任正非裁员｜电池大牛凯尔提离开特斯拉

智能驾驶

BBC自动驾驶纪录片｜自动驾驶第一案，谷歌讼Uber

为什么说百度阿波罗画虎不成反类犬？