【泡泡图灵智库】基于几何约束的单目视觉里程计尺度恢复（ICRA）

泡泡图灵智库，带你精读机器人顶级会议文章

标题：Monocular Visual Odometry Scale Recovery using Geometrical Constraint

作者：Xiangwei Wang Hui Zhang Xiaochuan Yin Mingxiao Du and Qijun Chen 

来源：ICRA 2018

编译：万应才

审核：李雨昊

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

       大家好，今天为大家带来的文章是——基于几何约束的单目视觉里程计尺度恢复，该文章发表于ICRA 2018。

       尺度恢复是单目视觉里程计中的一个关键问题。相机的高度通常用来作为尺度恢复的绝对参考。在这种情况下尺度恢复的准确性依赖于路标识别和道路几何模型计算的精度。在之前的研究中，道路识别和道路几何模型通过连续求解计算得到的：包括基于道路识别道路几何模型计算和基于色彩信息的道路范围识别。但是，道路的色彩信息不是静态的。在本文提出的方法中，将识别的道路几何模型作为反馈加入到识别道路范围的过程中。因此，道路范围识别和道路几何模型估计能够相互有利。Delaunay三角剖分方法被用来将一个输入图像中的特征匹配点作为顶点剖分为许多三角形。通过比较三角网区域的几何模型和道路的几何模型，判断每个三角形区域是否为道路范围，而道路几何模型是在线更新的。作者通过在KITTI数据集上评估视觉里程计尺度恢复方法，测试结果显示作者的方法在现有没有加其他传感器的单目视觉里程计尺度恢复中表现最佳。文章开源代码，地址为：https://github.com/TimingSpace/MVOScaleRecovery

主要贡献

 1、首先，本文提出一种基于道路的单目VO尺度恢复方法。作者结合道路区域识别和道路几何模型计算：基于道路几何模型识别道路区域并且通过识别道路区域来更新道路模型。

 2、其次，利用无绝对尺度的初始自我运动粗略估计道路俯仰角，用于在初始阶段选择道路区域。

 3、此外，为了增强算法的鲁棒性，作者对道路模型进行了滤波处理，并通过对比实验，发现中值滤波方法是合适的，并找出了合适的滤波尺寸。

 4、最后，本文提出了单目视觉测距精度，该方法实现方便。

论文总结

     由于单目摄像机在拍照时丢失了一个维度，每个像素点没有深度信息可用，导致单目VO不能计算出机器人的绝对运动尺度。未知尺度也会导致尺度漂移。单目VO尺度问题在没有参考尺度下不能够解决的。对于一个行驶在路面上的车辆的而言，其相机位置高度可以作为一个最可信且容易获得的参考尺度。过往道路识别问题和道路模型估计问题之间是独立的，对于道路识别问题假设路边范围是固定而不是识别它，这样做有两个缺点，第一，固定的道路区域中有可能有车辆或者其他东西出现，此外，固定的区域只是道路区域的一小部分并且特征点数量在固定区域内是有限的。

     作者提出在估计的道路几何模型上考虑以检测道路区域作为反馈。道路几何模型在考虑道路范围识别下进行更新。文中，作者用三角剖分法将输入进来的帧分为许多以特征匹配点作为顶点的三角形。之后，计算每个三角几何模型并将它们的几何模型与道路几何模型进行比较用来检查每个三角区域作为道路范围的可能性。

       图1中显示了本文提出的单目视觉里程计尺度恢复算法结构。初始里程计计算初始自运动R，t，t并不是绝对尺度的。道路的俯仰角是道路几何模型的中心单元，它可以从相机初始自运动中估计出来。通过Delaunay三角剖分将输入帧分割成一组三角形，并考虑道路几何模型，检查每个三角形是否为道路区域。利用道路特征点计算道路模型，并考虑摄像机绝对高度恢复标度。

图1 尺度恢复计算过程

算法结构

        图2显示了道路区域检测的结果：图2(a)显示了所有匹配的特征点，在图2(b)中，通过Delaunay三角剖分对帧进行分割。然后，在图2(c)中将道路三角形区域标记为绿色，在图2(d)中将道路特征点和其他特征点标记为绿色和红色。

图2 道路区域检测结果

如果车辆在平坦的道路上行驶，则t的方向垂直于道路规范的方向。

图3 以摄像机高度作为绝对尺度参考

基于特征点的道路区域检测三角测量算法

图4 基于特征点的道路区域检测三角测量算法

主要结果

1.在KITTI数据集00，05，08上对比其他算法尺度恢复

第一列中的三个图是Monocular ORB-SLAM2结果，没有关闭循环，并且它们没有处于正确的比例尺中。在第二列中，由单目ORB-SLAM2获得的运动是分别乘以三个固定标度参树17.0、17.5和25.0，但它们仍然存在尺度漂移问题。第三列是用本文提出的方法估计尺度参数，并将其相乘，可以得到正确的尺度，且尺度漂移小。

图5 在KITTI数据集00，05，08上对比其他算法尺度恢复结果

2.在KITTI数据集00和02-10上视觉里程计尺度恢复结果

红线是地面真理路径和蓝线的尺度恢复路径与本文提出的方法。对于数据集序列02图4(b),08图4(h)和09(图4(i))，ORB-SLAM2丢失的帧2005/4661，帧3539/4071和761/1591，因此路径不是完整的路径，而是ORB-SLAM2丢失之前的路径。

图6 在KITTI数据集上00和02-10上视觉里程计尺度恢复结果

3.滤波算法对于尺度恢复精度影响

图7(a)是未滤波的尺度参数，图7(b)是图7(a)中参数恢复尺度的路径，图7(c)和图7(d)是采用中值滤波的尺度参数和路径。

图7 有无滤波算法对于尺度恢复精度影响

4.与其他算法在KITTI数据集上旋转平移误差对比

图8 不同算法视觉里程计在KITTI数据集上旋转平移误差对比

Abstract

Scale recovery is one of the essential problems for monocular visual odometry. The camera height is usually used as an absolute reference to recover the scale. In this case,the precision of scale recovery depends on the accuracy of the road region detection and road geometrical model calculation. In previous works, road detection and road geometrical model calculation are solved sequentially: the road geometrical model calculation is based on the road detection and the road region detection is based on the color information. However, the color information of a road is not stable enough. In the proposed method, the estimated road geometrical model is taken into consideration to detect the road region as a feedback. Therefore, he road region detection and road geometrical model estimation can benefit each other. Delaunay Triangulation method is used to segment an input image to many triangles with the matched feature points as vertices. Every triangle region is classified as a road region or not by comparing their geometrical model with that of the road and the road geometrical model is updated online. We evaluate our visual odometry scale recovery method on the KITTI dataset and the results show that our method is achieving the best performance among all existing monocular visual odometry scale recovery methods without additional sensors. 

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

点击阅读原文，即可获取本文下载链接。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com