【泡泡图灵智库】FlowFields++：当精确的光流匹配遇到鲁棒的插值方法（arXiv-20）

会员服务 ·

【泡泡图灵智库】FlowFields++：当精确的光流匹配遇到鲁棒的插值方法（arXiv-20）

2018 年 9 月 6 日 泡泡机器人SLAM

泡泡图灵智库，带你精读机器人顶级会议文章

标题：FlowFields++: Accurate optical flow correspondences meet robust interpolation

作者：Rene Schuster, Christian Bailer, Oliver Wasenmuller, Didier Stricker

来源：arXiv cs:CV 2018

播音员：包子

编译：李建华

审核：彭锐

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

大家好，今天为大家带来的文章是——FLOWFIELDS++：当精确的光流匹配遇到鲁棒的插值方法，该文章发表于arXiv cs:CV 2018。

光流算法在许多应用中都有非常重要的作用。最近，Flow Field算法及其改进版本已经取得了优异的结果，在不同数据集上进行评估都取得了顶级的精度。在对算法的分析中，我们发现它能产生精确的稀疏匹配，但是在插值方面还有改进的余地。因此在本文中，我们将Flow Field算法的精确匹配与鲁棒插值相结合，提出了FlowFields++算法。此外，我们提出使用改进的变分优化作为后处理。在具有挑战性的KITTI和MPI Sintel数据集上进行评估表明，我们的算法与其他公开发表的结果相比，在两个基准数据集上均获得了顶级的结果。

主要贡献

机器视觉在许多领域应用中的一个核心任务是稠密光流的估计。本文在光流估计算法的贡献有：

1、重新结合了精确匹配与鲁棒插值算法。

2、改进了变分优化以用在双帧设置下光流估计中。

3、为验证算法的通用性和准确性，在两个不同的、具有挑战性的数据集上进行了全面测评。

算法流程

图1 算法流程图

（1）匹配

定义匹配损失函数为对应像素特征描述子的距离。本文使用了两种距离，一种是汉明距离，用于Census变换产生的二进制图案距离计算，一种是欧几里德距离，用于SIFT特征距离计算。在低分辨率图像的初始化时，采用KD-trees来匹配Walsh-Hadamard特征描述子。初始匹配向四个象限传播，每个尺度迭代12次，使用了亚尺度及亚亚（sub-sub）尺度。在每个迭代的最后三个传播步骤中，使用了随机搜索，并在每个光流分量上加了一个随机的偏移。

（2）过滤

为了剔除误匹配，本文执行了两次一致性检测，在稀疏化操作中，执行了一次基于区域的滤波。一致性检测实际上是比较估计的光流和使用不同匹配参数得到的流场的倒数，如果两者的一致性误差大于设定的阈值，则剔除该值。

（3）稀疏化

滤波后，在3×3的块中，选取一致性误差最小的s个作为最后匹配结果。

（4）插值

本文的插值算法有两个核心特点，边缘感知和鲁棒。根据图像边缘，基于测地距离（geodesic distance）计算局部邻域。为了模拟欧式距离，边缘地图增加了0.002的偏移值。与本领域前人工作不同的是，我们在分割的边缘训练了随机森林，而不依赖基本的图像边缘。我们把图分割为超像素，在相邻超像素间寻找一致性最优的集合，然后进行插值模型的计算，插值模型是一个二维的仿射变换。与之前的方法不同的是，本文方法更加鲁棒，因为模型估算不是基于所有邻域的匹配，这样可以进一步剔除误匹配。

（5）变分优化

稠密插值得到的流场是变分优化的起点。在Brox等人方法的基础上，我们有两点改进。第一是不再使用由粗到精的金字塔步骤。因为我们已经是全像素的估计了。第二是我们不优化即将离开图像区域的光流。

主要结果

在KITTI和Sintel数据集上进行了测试，表明我们的算法是少数几个能在两个数据上都取得顶级的表现的算法。

图 2 在KITTI上的一个结果比较。左侧是估计的光流，右边是误差。与FlowFields+算法相比，本算法在边界外的区域依然估计准确。参见图中Error Map中的阴影区域。

表1 在KITTI2015的结果对比。主要在背景（bg）、前景（fg）及所有像素（all）上比较误匹配率，该值越小越好。列出的方法是文献中最好的单目方法。标灰的是采用了多帧及深度学习方法，带括号的时间指GPU运算时间。

根据上表结果，有三个非深度学习的方法比我们的好，分别是MirrorFLow、MR-Flow和DCFlow。但是MirrorFlow在其他数据集上表现不好，MR-Flow使用了多帧图像，在参考图不可见的地方会出现模凌两可的结果。DCFLow在有运动的前景图表现较差。与FlowFIeld+相比，本文方法把误匹配率降低了20%。

表2 在MPI Sintel数据集的结果，比较指标是平均终点误差（EPE）。在最后渲染的匹配、不匹配及所有像素区域分别进行比较。同样，只列出了文献中最好的方法，标灰的是采用了多帧及深度学习的方法。

MPI Sintel数据集有稠密的真值以用于渲染图像序列。图像有大的位移、人物活动、运动模糊、大气效应等。这也是为什么有些在KITTI表现好的算法，却在本数据库表现较差。我们的算法是少数几个（MR-Flow、DCFlow）在两个数据库表现都好的算法。对比上述两个表格，基于深度学习的算法极少能同时取得好的结果（FlowFieldCNN除外）。有三个非深度学习的方法比我们的好，但是只有一个是基于双帧的算法。

结论：同时考虑两个数据集的表现，我们的方法排名第二（包括深度学习方法），只落后于DCFlow。但是我们在前景区域中效果比它好。

Abstract

Optical Flow algorithms are of high importance for many applications. Recently, the Flow Field algorithm and its modifications have shown remarkable results, as they have been evaluated with top accuracy on different data sets. In our analysis of the algorithm we have found that it produces accurate sparse matches, but there is room for improvement in the interpolation. Thus, we propose in this paper FlowFields++, where we combine the accurate matches of Flow Fields with a robust interpolation. In addition, we propose improved variational optimization as post-processing. Our new algorithm is evaluated on the challenging KITTI and MPI Sintel data sets with public top results on both benchmarks.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

点击阅读原文，即可获取本文下载链接。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/forums/