【泡泡图灵智库】通过基准标志匹配改善的SFM算法（ECCV）

泡泡图灵智库，带你精读机器人顶级会议文章

标题：Improved Structure from Motion Using Fiducial Marker Matching

作者：Joseph DeGol, Timothy Bretl, and Derek Hoiem

来源：ECCV 2018

编译：尹双双

审核：李永飞

提取码：n5cz

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

       大家好，今天为大家带来的文章是——Improved Structure from Motion Using Fiducial Marker Matching，该文章发表于ECCV 2018。

本文提出了一种增量式的SfM算法，当场景中存在基准标记时，该算法的性能显著优于现有算法，并且在没有标记的情况下，该算法的性能与现有算法的性能相当。本文的算法使用标记来限制潜在不正确的图像匹配，改变重构中图像添加顺序，并采用新的BA约束。为了验证我们的算法，我们引入一个新的数据集，其中包含16个具有挑战性特征的大型室内场景图像集合(例如，空白走廊、玻璃幕墙、砖墙)，并在整个场景中放置标记。我们展示了我们的算法在所有16个图像集合上生成了完整、准确的重建，其中大多数会导致其他算法失败。此外，通过选择性地屏蔽基准标记，我们表明即使只有少量标记的存在也可以改善本文算法的结果。

主要贡献

     1.一种SfM算法，使用基准标记(当可用时)和兴趣点特征来改进结果;

     2.一个具有挑战性的室内场景大数据集，全部都有标志;

    3.实验表明即使在少数标记可见时，方法仍有效。

算法流程

图1 此图描述了典型的增量SfM方法:从元数据中提取先验信息(例如焦距)、提取特征、匹配特征和重构。蓝色框是本文在方法中添加或更改的区域。

    1.标志检测

   用一个正方形标志检测算法平行处理每张输入影像。保存影像名，标志id，角点位置和角点像素颜色。

    2.基于标志的影像对

   在影像匹配和几何验证之前，基于三个规则先建立一个潜在的影像匹配集，如图2所示：

• 如果在两个图像中检测到相同的标记(至少一个)，则添加一个图像对；

• 如果一个图像不与任何其他图像共享检测到的标记，我们将添加包含该图像的所有可能的对；

• 如果所有添加的对集不能形成一个连接组，就把分散的组里每张影像的匹配对加到每张不在组里的影像上。
  

图2 左上角的图表将图像描述为字母框，框边表示图像对之间匹配的标记的数量。上面的中图和右上角的图描述了图像之间的公共特征匹配的数量。下图描述了基于两条规则的图像A到G的定向顺序:(1)添加与重构匹配标记最多的图像;(2)使用最多多特征匹配打破关系。

     3.基于标志的后方交会

      应用两条规则来使用标记检测指示加入影像顺序：

• 与当前重建影像匹配最多的标记；

• 如果多张影像具有相同多的标记匹配，选择最多特征匹配的影像。
  

     4.基于标记约束的BA

    V表示在每个标记上相邻的3D角点形成的向量集（即每个标志有4个矢量），wR,wS和wO表示权重，重投影误差：

   C表示相机数，N表示3D点的数目（标记和特征），L值损失函数。ES和EO误差分别表示标记尺度和标记正交性。

    4.实现细节

   基于开源算法OpenSfM，采用默认参数，用AprilTag2检测标志。损失函数是soft L1，权重wR=62500,wS=100,wO=100;然后标记尺寸S为0.21m。

主要结果

        1、数据集

图3 上面的图表是ECE的平面图。图像收集的路径以红色、绿色和洋红色叠加。这些颜色对应于图像集名称和示例图像。例如，ECE Floor5楼梯在ECE Floor4和5平面图中以品红线条显示，带有示例图像的名称也为品红。

图4 上面的图表是CEE和MUF的平面图。图像采集的路径用红色叠加。给出了影像集名称和示例映像。

        2、实验结果

图5 OpenSfM, OpenSfM与标记，MarkerMapper, OpenSfM与标记和特征，和我们的方法对ECE影像重建结果。使用标记作为结构通常会产生较差的结果(例如ECE Floor2 Hall, ECE Floor3 Loop CW, ECE Floor3 Loop, ECE Floor5 Stairs)。我们的方法对于所有的图像集合都能产生和其他方法一样好的或者更好的完整的重建。最好的结果用绿色的复选标记表示。

表1 OpenSfM,OpenSfM与标记，MarkerMapper，OpenSfM与标记和特征以及本文方法重建结果。

表2  用标记来限制可能的图像对大大减少了匹配时间。总的来说，我们的方法在更短的时间内产生了更好的重建。

图6 左六幅图像显示了ECE Floor3 Loop CCW的重建是如何随着标记密度的增加而改善的。这里AMD是指每幅图像的平均标记检测。右图显示的是AMD增加时定位成功的图像百分比。每种颜色代表不同的数据集。趋势线用黑色表示。随着AMD的增长，定位成功图像的百分比增加到100%。

Abstract 

    In this paper, we present an incremental structure from motion (SfM) algorithm that significantly outperforms existing algorithms when fiducial markers are present in the scene, and that matches the

performance of existing algorithms when no markers are present. Our algorithm uses markers to limit potential incorrect image matches, change the order in which images are added to the reconstruction, and enforce new bundle adjustment constraints. To validate our algorithm, we introduce a new dataset with 16 image collections of large indoor scenes

with challenging characteristics (e.g., blank hallways, glass facades, brick walls) and with markers placed throughout. We show that our algorithm produces complete, accurate reconstructions on all 16 image collections，most of which cause other algorithms to fail. Further, by selectively masking fiducial markers, we show that the presence of even a small number

of markers can improve the results of our algorithm.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

点击阅读原文，即可获取本文下载链接。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com