【泡泡图灵智库】针对基于优化的视觉惯导里程计的动态传感器时偏建模（ECCV）

泡泡图灵智库，带你精读机器人顶级会议文章

标题：Modeling Varying Camera-IMU Time Offset in Optimization-Based Visual-Inertial Odometry

作者：Yonggen Ling, Linchao Bao, Zequn Jie, Fengming Zhu
来源：ECCV 2018

编译：万应才

审核：李雨昊

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

       大家好，今天为大家带来的文章是——针对基于优化的视觉惯导里程计的动态传感器时偏建模，该文章发表于ECCV2018。

       由于相机和惯性测量单元（IMU）两种传感器能够融合互补，将两种传感器融合应用于运动跟踪能够取得很好的效果。当前大多数研究主要集中在全局快门相机和传感器融合测量，但对于大多数消费级设备往往配备的是卷帘快门相机，这种相机很难与传感器进行同步。本文提出了一种以可变的camera-IMU采样时间差值作为未知变量的非线性优化单目视觉惯性里程计(VIO)。作者提出将camera-IMU中卷帘快门效应和传感器的不良同步性整合在一个统一的方式中解决。此外，文章中引入了基于动态规划与红黑树高效算法，来加速变时间间隔的IMU积分的优化过程。此外，作者还提出了一种具有不确定性感知的VIO初始化方法，能够使VIO运行具有很好的鲁棒性。通过对比现有先进方法在Euroc数据集和手机数据集的实验数据表明，验证作者的方法有效性。

主要贡献

1、作者提出一种将相机-IMU动态时偏作为未知变量的非线性优化视觉惯导里程计来解决卷帘快门效应，并在同一的框架中完成在线相机-IMU时相标定。

2、作者设计了一种基于动态规划和红黑树的高效算法来加速优化过程中可变时长间隔的IMU融合过程。

3、作者提出一种感知不确定性的初始化机制来增加VIO启动程序的稳健性。

论文总结

       在文中，作者将由于系统负荷变化和传感器跳动以及卷帘快门相机效应引起的图像和传感器采样时间差值的波动量用高斯噪声等效，将该噪声与滑动窗口中两个连续帧之间的时间间隔相结合，添加到所有的连续帧中，实现Camera-IMU的融合。在优化过程中引入结合动态规划的红黑树算法进行检索以便快速计算能快速计算有规律变时长的IMU积分。作者还使用一种通过结合在IMU积分期间获得的协方差矩阵来执行不确定性的初始化的方法。

主要问题

      与全局快门相机采集所有行像素在同一时间曝光完成不同，卷帘快门相机则是逐行曝光采集每行像素。在与传感器融合时由于不同行的曝光时间，如果估计相机位姿通过去优化每一像素行，计算量十分庞大。而面对卷帘快门相机与传感器融合的问题时，通常的做法是将卷帘快门相机等效转换为全局快门相机。

       图中表示一个卷帘快门相机和不完全同步的IMU所组成的camera-IMU组。用全局快门图像读取时刻（左上）来近似卷帘快门相机“中间行”像素读出的时刻（右上）。这个“中间行”的位置被优化为局部地面真实轨迹（底部）的预期位置。

主要结果

  1.在Euroc数据集上不同时间偏移下相对旋转和平移误差，本文提出算法跟踪精度比 VINS-Mono高。

       2、在手机数据机上，本文算法与VINS-Mono跟踪精度对比，VINS-Mono无法跟踪快速移动和旋转。

Abstract

   Combining cameras and inertial measurement units (IMUs) has been proven effective in motion tracking, as these two sensing modalities offer complementary characteristics that are suitable for fusion.While most works focus on global-shutter cameras and synchronized sensor  measurements, consumer-grade devices are mostly equipped with rolling-shutter cameras and suffer from imperfect sensor synchronization. In this work, we propose a nonlinear optimization-based monocular visual inertial odometry (VIO) with varying camera-IMU time offset modeled as an unknown variable. Our approach is able to handle the rollingshutter effects and imperfect sensor synchronization in a unified way.Additionally, we introduce an efficient algorithm based on dynamic programming and red-black tree to speed up IMU integration over variablelength time intervals during the optimization. An uncertainty-aware initialization is also presented to launch the VIO robustly. Comparisons with state-of-the-art methods on the Euroc dataset and mobile phone data are shown to validate the effectiveness of our approach.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

点击阅读原文，即可获取本文下载链接。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com