基于计算机视觉的无人驾驶感知系统

会员服务 ·

基于计算机视觉的无人驾驶感知系统

2018 年 1 月 6 日 凡人机器学习

一个有态度的公众号

快乐学习，一起进步

（本期文章转载自新浪博客）

点赞是个好习惯，请继续保持呦

作者：吴双

在无人驾驶技术中，感知是最基础的部分。在本文中，我们将探索基于计算机视觉的无人驾驶感知方案。

一、数据集

本文采用KITTI数据集进行测试，该数据集是由德国卡尔斯鲁厄技术研究院（KIT）和丰田芝加哥技术研究院（TTIC）共同开发的。包括Stereo/Optical Flow数据集、视觉里程测量数据集、三维物体检测数据集、物体追踪数据集、路面和车道检测数据集。

和以往计算机视觉领域的数据集相比，KITTI数据集有以下特点：

（1）由无人驾驶车上常见的多种传感器收集，用LiDAR提供高精度的三维空间数据，有较好的ground truth；

（2）不是用计算机图形学技术生成的，更加接近实际情况；

（3）覆盖了计算机视觉在无人驾驶车上应用的多个方面。

二、计算机视觉能帮助无人驾驶解决的问题

计算机视觉在无人车场景中解决的最主要的问题可以分为两大类：物体的识别与跟踪，以及车辆本身的定位。

注释：

物体的识别与跟踪：通过深度学习的方法，我们可以识别在行驶途中遇到的物体，比如行人、空旷的行驶空间、地上的标志、红绿灯以及旁边的车辆等。由于行人以及旁边的车辆等物体都是在运动的，我们需要跟踪这些物体以达到防止碰撞的目的，这就涉及到Optical Flow等运动预测算法。

车辆本身的定位：通过基于拓扑与地标算法，或者是基于几何的视觉里程计算法，无人车可以实时确定自身位置，满足自主导航的需求。

三、在物体的识别与追踪方面的应用

从像素层面的颜色、偏移和距离信息到物体层面的空间位置和运动轨迹，是无人车视觉感知系统的重要功能。无人车的感知系统需要实时识别和追踪多个运动目标（Multi-ObjectTracking，MOT），例如车辆和行人。

目前，物体识别算法存在输出有噪音：物体识别不稳定，物体被遮挡，有短暂误识别等问题，需要解决这样一个难点：如何基于有噪音的识别结果获得鲁棒的物体运动轨迹。下面我们将详细介绍基于马尔可夫决策过程（MDP）的MOT算法来解决这个问题：

运动目标的追踪用一个MDP来建模：

（1）运动目标的状态：s∈S=S_active∪S_tracked∪S_lost∪S_inactive，这几个子空间各自包含无穷多个目标状态。被识别到的目标首先进入active状态，如果是误识别，目标进入inactive状态，否则进入tracked状态。处于tracked状态的目标可能进入lost状态，处于lost状态的目标可能返回tracked状态，或者保持lost状态，或者在足够长时间之后进入inactive状态。

（2）作用a∈A，所有作用都是确定性的。

状态变化函数T:S×A→S定义了在状态s和作用a下目标状态变为s'。

奖励函数R:S×A→R定义了作用a之后到达状态s的即时奖励，这个函数是从训练数据中学习的。

（3）规则π:S→A决定了在状态s采用的作用a。

如图，这个MDP的状态空间变化如下：

（1）在active状态下，物体识别算法提出的物体候选通过一个线下训练的支持向量机（SVM），判断下一步的作用是a_1还是a_2，这个SVM的输入是候选物体的特征向量，空间位置大小等，它决定了在S_active中的MDP规则π_active。

（2）在tracked状态下，一个基于tracking-learning-detection追踪算法的物体线上外观模型被用来决定目标物体是否保持在tracker状态还是进入lost状态。这个外观模型（appearance model）使用当前帧中目标物体所在的矩形（bounding box）作为模板（template），所有在tracked状态下收集的物体外观模板在lost状态下被用来判断目标物体是否回到tracked状态。另外在tracked状态下，物体的追踪使用上述外观模型模板，矩形范围内的Optical Flow和物体识别算法提供的候选物体和目标物体的重合比例来决定是否保持在tracked状态，如果是，那么目标物体的外观模板自动更新。

（2）在lost状态下，如果一个物体保持lost状态超过一个阈值帧数，就进入inactive状态；物体是否返回tracked状态由一个基于目标物体和候选物体相似性特征向量的分类器决定，对应了S_lost中的π_lost。