【泡泡图灵智库】混合相机位姿估计

泡泡图灵智库，带你精读机器人顶级会议文章

标题：Hybrid Camera Pose Estimation

作者：Federico Camposeco, Andrea Cohen, Marc Pollefeys，Torsten Sattler

来源：IEEE Conference on Computer Vision and Pattern Recognition(CVPR 2018.)

编译：皮燕燕

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

泡泡图灵智库栏目，是泡泡一分钟的深入解读版，添加了论文的主要贡献、算法流程和主要结果分析等内容，希望给泡芙们带来全新的感受。

摘要

       大家好，今天为大家带来的文章是——混合相机位姿估计，该文章发表于CVPR 2018。

       该论文通过结合了2D-3D点对以及2D-2D点对的运动恢复结构模型（SFM）来解决针孔和广义相机标定中的位姿估计问题。传统对相机位姿的估计方法要么是基于模型的，即利用2D-3D匹配的方法，要么仅利用2D-2D匹配（无模型的位姿估计）。绝对位姿方法的性能受限于3D点三角剖分的质量以及3D模型完备性。另一方面，相对位姿方法在精度上更高，但往往更昂贵，且往往会得到几十种可能的结果。该论文旨在弥合上述两种方法之间的鸿沟。 该论文提出了一种新的基于RANSAC的方法，它可以自动选择最佳类型的求解器，以在数据流中的每次迭代中使用。基于该论文提出的RANSAC选择的求解器可以覆盖纯粹的基于模型的或无模型的求解器到任何组合可能获得的混合求解器（即使用两种类型的组合）。同时，该论文介绍了一些新的混合最小求解器。基于合成和真实数据的实验表明，该论文提出的方法的准确率和无模型的方法一样，同时其的处理效率接近于基于模型的方法。

主要贡献

       1. 提出使用同时利用2D-3D和2D-2D匹配来进行位姿估计的准确率和无模型的方法一样，同时处理效率接近于基于模型的方法。

       2. 为了实现遍历基于模型、无模型和混合的求解器，提出了一种新的混合RANSAC方案。

         3. 提出了九种新颖的混合相机位姿求解器。

算法流程

图1 混合RANSAC算法

第一步：初始化纯2D-3D匹配点、纯2D-2D匹配点，并分别设定其的阈值。

第二步：设定得到内点数最多的模型为最优模型。

第三步：在每次迭代中根据求解器的先验成功概率确定最优的求解器。

第四步：对每个求解器设定一个最小迭代次数Ks，当某个求解器至少被选择了Ks次，则程序终止。

图2 最小化求解器的类型

论文所讨论的9种求解器如图2的黑体所示。

主要结果

        文章结果：

        1. 利用合成数据探究了基于混合求解器进行位姿估计的运算代价，与典型的P3P运算所需时间（2us）进行了对比。

图3 各种求解器的运算时间

          2. 利用合成数据探究了基于混合求解器进行位姿估计的稳定性，结果表明提出的方法均可用于实际数据的处理。

图4 论文提出的9中求解器的数值精度

          3.在6维度问题上，基于真实数据分析得到混合求解器的精度优于P3P、SixPoint，且解算时间与P3P相当的结论。

图5 三种求解器的精度以及运算时间对比

         4.在5维度问题上，基于通过SLAM系统获得的11个场景的数据分析，得出混合求解器的在大部分场景中的处理精度与论文[29]提出的最先进的方法相当，且解算时间大部分基于简单的2D-3D的解算器相当的结论。

图6 11中场景下不同算法的精度以及运算时间对比

Abstract

       In this paper, we aim to solve the pose estimation problem of calibrated pinhole and generalized cameras w.r.t. a Structure-from-Motion (SfM) model by leveraging both 2D-3D correspondences as well as 2D-2D correspondences. Traditional approaches either focus on the use of 2D-3D matches, known as structure-based pose estimation or solely on 2D-2D matches (structure-less pose estimation). Absolute pose approaches are limited in their performance by the quality of the 3D point triangulations as well as the completeness of the 3D model. Relative pose approaches, on the other hand, while being more accurate, also tend to be far more computationally costly and often return dozens of possible solutions. This work aims to bridge the gap between these two paradigms. We propose a new RANSAC-based approach that automatically chooses the best type of solver to use at each iteration in a data driven way. The solvers chosen by our RANSAC can range from pure structure-based or structure-less solvers, to any possible combination of hybrid solvers (i.e. using both types of matches) in between. A number of these new hybrid minimal solvers are also presented in this paper. Both synthetic and real data experiments show our approach to be as accurate as structure-less approaches, while staying close to the efficiency of structure-based methods.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

点击阅读原文，即可获取本文下载链接。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/forums/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com