【泡泡图灵智库】LIMO: LiDAR-单目相机视觉里程计（arXiv）

泡泡图灵智库，带你精读机器人顶级会议文章

标题：LIMO: Lidar-Monocular Visual Odometry

作者：Johannes Graeter, Alexander Wilczynski and Martin Lauer

来源：arXiv 2018

编译：杨健博

审核：尹双双

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

       大家好，今天为大家带来的文章是——LIMO: LiDAR-单目相机视觉里程计，该文章发表于arXiv 2018。

       自动驾驶中高等级的功能都依赖于对车辆移动的精确估计，为此也设计了很多算法。然而，其中大部分都是基于双目视觉和激光雷达，尚未有利用影像与激光雷达的结合来做视觉定位。在这篇文章中我们填补了这个空缺，提出了一种为影像从激光雷达数据中提取深度信息并利用基于光束法平差的方法来估计运动。语义标注被用来做地标点离群点移除和确定权重。

       文章方法的可行性在KITTI数据集上进行了测试并达到了前15的结果。文章代码已开源。

主要贡献

       1、本文提出的一种基于激光雷达和单目影像数据结合的视觉里程计方法，并解决了此过程中遇到的相关问题。

算法流程

图 1.VSLAM的主要流程。输入是序列影像，输出为相机位姿和环境的稀疏场景重建。文章主要提出的是视觉里程计，并无闭环检测。

A&B：特征提取和预处理：

          文章采用了viso2库的函数进行特征及描述子提取与跟踪。

 

S: 尺度估计：

图 2.在投影点（红色）中来定义特征点（绿色）的兴趣区（蓝色）。兴趣区应该类似中间的图一样包括一块区域而不是如右图只包含一条扫描线。

图 3.是否利用宽为h的深度直方图进行分割后进行深度估计的比较。分割后对对应点进行深度估计。

图 4.地面上的特征点是特别重要的特征，尤其是在高速公路场景下。因为第i条射线用zi=y*tan(Φs+i*Φ) 来定义，所以利用深度直方图分割是不合适的，所以地面特征点不应用分割会被提取拟合成一个平面。

C: 视觉里程计

        通过优化3d到2d的PnP问题和2d到2d的极线误差来计算帧到帧的里程计。

主要结果

          文章结果主要为KITTI数据集上的测试结果。

图 5.KITTI数据集上的平均误差。在速度很快或者很慢的时候误差都很大。速度快的时候误差大是因为特征提取和匹配比较困难。速度慢时的误差是由于对静止状态检测的优化策略造成的。

图 6.训练KITTI里程计数据集来进行帧到帧的运动估计。对于短距离或者有较多稳定标志物的区域，采用Liviodo比较合适。对于长距离大场景，使用后端优化就可以很好的减小漂移误差。在标志物较少的区域，后端优化可以额外的补充因为深度估计不准确造成的误差。对于高速公路数据而言，因为只能提取到较少的深度信息，光束法平差就很重要了。

Abstract

Higher level functionality in autonomous drivingdepends strongly on a precise motion estimate of the vehicle.Powerful algorithms have been developed. However, their greatmajority focuses on either binocular imagery or pure LIDARmeasurements. The promising combination of camera and LIDARfor visual localization has mostly been unattended. Inthis work we fill this gap, by proposing a depth extractionalgorithm from LIDAR measurements for camera feature tracksand estimating motion by robustified keyframe based BundleAdjustment. Semantic labeling is used for outlier rejection andweighting of vegetation landmarks.The capability of this sensor combination is demonstrated on thecompetitive KITTI dataset, achieving a placement among the top15. The code is released to the community.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

点击阅读原文，即可获取本文下载链接。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com