【泡泡图灵智库】单目视觉里程计的挑战：光度标定，运动偏差和卷帘快门的影响（RAL2018）

泡泡图灵智库，带你精读机器人顶级会议文章

标题：Challenges in Monocular Visual Odometry: Photometric Calibration, Motion Bias and Rolling Shutter Effect 

作者：Nan Yang, Rui Wang, Xiang Gao and Daniel Cremers 

来源：IEEE Robotics and Automation Letters 2018

播音员：王肃

编译：陈建华

审核：Reality

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

       大家好，今天为大家带来的文章是——单目视觉里程计的挑战：光度标定，运动偏差和卷帘快门的影响，该文章发表于RA-L 2018。

       近年来，单目VO和SLAM不仅在准确性，鲁棒性和实时性方面均有了巨大的提升，并且得到了越来越多的关注。然而，却很少有研究去讨论以下几个容易忽视的重要影响因素：光度标定，运动偏差和卷帘快门的影响。在本文中，作者通过对直接法，特征点法和半直接法中的主流方法进行关于上述三个方面的量化实验。这项工作为VO和SLAM领域更好应用已有方法或者开发新算法提供了实用的知识。作者对于文中所有的实验部分都进行了技术和经验方面的总结与分析。此外，作者还指出了现有方法可能存在的一些改进措施，例如通过对ORB-SLAM进行亚像素精炼来提高其性能。

主要贡献

       1. 通过进行全面的评测研究了光度标定对于三类主流方法的影响，并分析可能的原因。

       2.详细探讨了运动偏差的问题，分析原因并且通过实验进行验证。

       3.通过提供全局快门和模拟卷帘快门的数据集对三类主流方法进行评测研究，此外还进一步通过现代工业级别的卷帘快门相机进行测试。

       4.所有的实验环节不仅包括直接法和特征点法，还考虑了半直接法的评测。

       5.提出了现有方法可能的一些改进措施，如ORB-SLAM进行亚像素精炼可以增强性能。

算法流程

      第一部分是准备工作。

      作者介绍了三类主流的VO方法作为本文评测的对象，分别为直接法的代表DSO，特征点法的代表ORB-SLAM，以及半直接法的代表SVO。此外，作者列出了本文实验所使用的数据集，覆盖了一系列的真实世界场景设置，如室内/室外，有纹理/无纹理，全局快门/卷帘快门，具体包括TUM Mono VO数据集，EuRoC MAC数据集，ICL-NUIM数据集，以及Cityscapes数据集。

      第二部分是评测实验。

      1.光度标定

      作者使用TUM Mono VO数据集的50个原始序列和50个光度标定后的序列进行实验，光度标定示例如图1所示。每种方法在这100个序列上运行10次以减小如多线程等不确定性因素的影响，实验结果如图2所示。作者分析如下：光度标定对于DSO性能提升明显这一结果并不令人惊讶，这是由于直接法是基于灰度不变一致性假设。有趣地是，光度标定降低了SVO的整体性能，而ORB-SLAM降低地更多，作者分析是特征提取与匹配受光度标定影响较大。

       为此，作者在TUM Mono VO数据集上进行了光度标定对ORB-SLAM的性能影响的测试。结果显示，ORB-SLAM在各个序列上性能衰退程度不同，根据FAST和ORB之类特征在高对比度图像中效果更好，作者进一步分析认为SVO和ORB-SLAM的性能衰退主要是由于暗帧造成的。

       于是，作者进行了验证实验：在光度标定前后均进行图像对之间的ORB特征提取和匹配，结果如图3所示。结果显示：光度标定后，暗图像对的ORB特征匹配数减少，亮图像对的ORB特征匹配数增加。虽然图3第二列ORB特征匹配数下降的并不明显，但是影响会随着帧数进行累积。

图1 光度标定的示例

（a）带有伽马校正的相机响应函数 

（b）没有伽马校正的相机响应函数 

（c）原始图像 （d）光度标定后的图像

图2 三类方法在测试序列上进行有/无光度标定的性能对比（相机响应函数G，渐晕因数V，曝光时间t）

图3 光度标定前后相邻帧间ORB特征提取与匹配的性能差异

上：光度标定前   下：光度标定后

      2.运动偏差

      这里的运动偏差是指正向和反向运行同一数据集所带来VO的性能差异。作者对三类主流方法进行了相关实验，结果如图4所示。其中，DSO几乎不受运动偏差的影响；ORB-SLAM正向运动时性能更好；SVO表现比较差，尤其是反向运动时存在较大误差。此外，作者在EuRoC MAV数据集上对ORB-SLAM进行了单独测试，结果如图5所示。

      针对上述结果，作者提出了几种改善方法：

    （a）深度表示：与ORB-SLAM采取直接深度表示不同，DSO采取逆深度表示，这样可以更好减小远距离的特征不能很好初始化造成的影响。

    （b）特征点采样策略：DSO在整幅图像中均匀采样特征点，这样可以避免选到许多初始化结果差的特征点。

    （c）特征点管理：DSO对于新来帧会采样特征点，但不会立即添加到系统中，这个阶段它们的深度估计会不断进行优化。另外，系统会通过一致的空间分布来判断是否应该激活该特征点。

    （d）离散化因素：在直接法中，新观察到点的深度通过亚像素精度搜索对应参考帧极线进行初始化；在特征点法中，新的特征被提取并且与之前观察的特征在离散的图像位置进行匹配。因此，特征点法将会受到离散化因素的影响更严重。作者通过实验验证上述结论，结果如图6所示，随着图像分辨率的降低，DSO的性能下降了一点，整体上对此比较鲁棒；而ORB-SLAM性能差异较大，受此影响严重。

图4 三类主流方法正向与反向运行TUM Mono VO数据集的结果。每个方法在每个序列上正向和反向分别运行10次，图中每个小方块代表与每次运行计算的误差，并且通过着色编码显示。

图5 ORB-SLAM正向和反向运行EuRoC MAV数据集的性能对比

图6 ORB-SLAM和DSO在不同图像分辨率的TUM Mono VO数据集上由运动偏差造成的性能差异

     此外，作者采用稀疏光流算法对ORB-SLAM的特征匹配步骤进行精炼以获得亚像素精度，并通过5组序列进行运动偏差的测试，结果如图7所示。同时，在TUM Mono Vo数据集所有序列的测试结果如图8所示，亚像素精炼有效提升了ORB-SLAM正向运行时的性能，而反向运行的性能几乎没有变化。

图7 原始版本和精炼版本ORB-SLAM的运动偏差测试结果

图8 原始版本和精炼版本ORB-SLAM在TUM Mono VO数据集上运动偏差的性能对比

      3.卷帘快门的影响

      作者对三类方法在ICL-NUIM数据集的4个室内序列上各进行10次实验（这是目前唯一同时提供全局快门和模拟卷帘快门序列的数据集），结果如图9所示。其中，三类方法均受卷帘快门的影响，DSO和SVO相较于ORB-SLAM的性能下降更加明显。

图9 三类方法在ICL-NIUM数据集上分别进行全局快门和模拟卷帘快门设置的测试结果

主要结果

        作者通过对直接法，特征点法和半直接法三类主流方法进行了关于光度标定，运动偏差和卷帘快门的影响三者的全面评测后，得到了以下主要结论：

        1. 光度标定能显著提升直接法的性能；而对于半直接法和特征点法，它们的性能取决于所使用的特征，相机响应函数和场景的整体亮度。

        2.相比于直接法，特征点法在正向和反向运动时具有较大的性能偏差。其中可能的原因是：深度表示，特征点的选取与管理，离散化因素等。

        3.直接法和半直接法对于卷帘快门的影响更加敏感，但是当卷帘快门影响不是很强或者环境是低纹理的情况，卷帘快门的影响对性能就不会是决定性影响因素。

        4.所使用的特征点法对于像素人工离散化更加敏感，因此尽可能使用高分辨率的图像。此外，特征提取和匹配方面的亚像素精炼可以增强性能。

Abstract

    Monocular visual odometry (VO) and simultaneous localization and mapping (SLAM) have seen tremendous improvements in accuracy, robustness and efficiency, and have gained increasing popularity over recent years. Nevertheless, not so many discussions have been carried out to reveal the influences of three very influential yet easily overlooked aspects: photometric calibration, motion bias and rolling shutter effect. In this work, we evaluate these three aspects quantitatively on the state of the art of direct, feature-based and semi-direct methods, providing the community with useful practical knowledge both for better applying existing methods and developing new algorithms of VO and SLAM. Conclusions (some of which are counterintuitive) are drawn with both technical and empirical analyses to all of our experiments. Possible improvements on existing methods are directed or proposed, such as a sub-pixel accuracy refinement of ORB-SLAM which boosts its performance.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

点击阅读原文，即可获取本文下载链接。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/forums/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com