【泡泡图灵智库】NM-Net：基于邻接点一致性的鲁邦特征点匹配（CVPR）

会员服务 ·

【泡泡图灵智库】NM-Net：基于邻接点一致性的鲁邦特征点匹配（CVPR）

2019 年 4 月 28 日 泡泡机器人SLAM

泡泡图灵智库，带你精读机器人顶级会议文章

标题：NM-Net: Mining Reliable Neighbors for Robust Feature Correspondences

作者：Chen Zhao, Zhiguo Cao, Chi Li, Xin Li, and Jiaqi Yang

来源：CVPR2019

编译：李永飞

审核：尹双双

提取码：r86q

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

大家好，今天为大家带来的文章是——NM-Net：基于邻接点一致性的鲁邦特征点匹配，该文章发表于CVPR2019。

特征对应关系的筛选对于计算机视觉中许多基于特征匹配的任务而言至关重要。在许多先前的工作中，搜索空间的k最近邻是一种匹配的策略。然而，由于错误的匹配的空间分布是不规则的，因而无法保证空间上的k最近邻就是一致的。为解决这一问题，本文提出了一种基于兼容性的挖掘方法来搜索一致性的邻接点。而且，为了从邻接关系中提取到更多可靠的特征，本文提出了一种多层网络NM-Net，该网络由多个卷积层组成，以特征点邻接关系图为输入，因而该网络对对应关系的顺序不敏感。本文实验结果表明，本文的方法在四个具有不同内点率和不同特征一致性的数据集上取得了目前最优的结果。

主要贡献

本文的主要贡献为：

1、本文发现基于兼容性的邻接关系比起基于空间关系的邻接关系在特征点匹配中更加可靠；

2、本文提出的NM-Net，能够为特征匹配关系的选取充分提取基于兼容性的局部信息，并且对特征匹配关系的顺序不敏感；

3、在多个数据集上的实验表明，本文提出的方法能够取得最优效果。

算法流程

PS：在去年的图灵智库栏目中，我为大家分享了一篇使用机器学习的方法来从初始点的匹配中提取正确的点的匹配关系的文章——Learning to Find Good Correspondences，今天给大家分享的这篇文章是解决相同的问题。我们都知道，获取正确的特征点的匹配是很多计算机视觉任务的前提，通常的做法是分为两步：首先，在图像中提取特征点，进行特征点的初始匹配；而后，由于特征点匹配无法保证点对应关系的正确性，通常需要一定的方法，来筛选出正确的匹配关系。本文正是针对第二个问题。我们最常见的方法可能是模型一致性的方法，比如最为常见的RANSAC。然而，这类问题对于无模型无能为力。且在野点率很高的情况下，这类方法往往很难得到很好的结果。为此，Learning to Find Good Correspondences一文提出了一种使用机器学习的方法来解决此类问题，试图通过数据驱动的方式，拟合出点集的坐标对应关系到点的对应正确性的映射关系。但是，该方法忽略了局部特征点对应之间的一致性关系（例如，空间一致性（一对点对应（x1,x1'）和（x2,x2'）,如果x1和x2之间的距离很近，那么x1'和x2'之间的距离也应该很近））。而是仅仅使用“上下文归一化层”来关联不同点对应。本文的方法正是针对这一不足，提出了一种新的网络NM-Net来挖掘点对应之间的联系。同时，本文指出，空间一致性往往无法保证（由于视角、形变等原因），因而提出了一种基于兼容性的方法，来提取特征对应的局部一致性。这是本文的另一个创新点。下面从这两个方面对本文进行详细的介绍。

1、局部一致性点对应提取

提取局部一致性点对应的主要任务是：对于给定的点对应ci，找出何其具有一致性的其他的点对应cj。这样做有两个目的：一是，将局部一致的点组合在一起；二是，能够将无序的点对应转换为有序结构，使得后续特征挖掘网络对点对应的顺序不敏感。通常的做法是采用空间局部一致性，即假设局部变换为刚性变换，特征点之间的距离保持不变（参考Locality Preserving Matching一文）。然而这一假设通常不能保证，为此本文提出了一种新的局部一致性。该方法的核心思想是：如果两对点对应都是正确的，那么这两对点对应的局部的形变（本文采用仿射变换来描述）应该是相近的。具体做法为：

1、采用Hessian-affine特征检测子来提取特征点，同时得到了特征点的局部仿射变换信息；

2、由上述局部仿射变换可以得到匹配点间的转换关系：

其中，

Ai为局部仿射信息，ki为特征点的坐标。

3、对于一对特征点对应，分别计算2中的转换关系，并计算两个转换关系的相近程度，以此作为点对应关系的一致性度量指标：

采用高斯核对上述指标进行归一化：

4、对于任一点对应ci，通过上述方式找到其最接近的k个点对应，组成图Gi，即为该点对应的局部一致性点对应集合。

2、点对应分类网络

判断点对应是否正确，可以看做是一个二分类问题。但是，根据单个点对应无法给出其是否正确的判断，需要通过其他点对应的关系，来进行判断。本文将初始的所有的点对应作为输入，通过学习的方法来挖掘点对应之间的关系，最终输出所有点对应的分类结果。本文的网络结构如图1所示：

图1. NM-Net网络结构。NM-Net是一个特征点匹配准确与否的分类网络。本文设计了一系列模块来提取可靠的一致性邻接点对应，并将其转换为图，以获得无序点对应的有序表达。在图（a）的左下虚线框中，黑色的点表示某个点对应，蓝色的点表示其兼容一致性邻接点。图（b）描述了通过一系列的残差网络模块来逐层提取点对应的邻接节点特征。

本文采用如下简单的损失函数：

其中g为网络的输出，S为逻辑函数，yi为标注的真值，H为二值化交叉熵函数。

主要结果

本文在四个标准数据集上进行了实验，并与人为设计的方法（RANSAC，GTM，LPM）和基于学习的方法（PointNet，PointNet++，LGC-Net）进行了性能的比较；并通过实验研究了算法的参数对性能的影响，实验结果如下：

表1. 实验结果。从上到下的三个表分别表示的是在NARROW, WIDE, 和 COLMAP数据集上的实验结果。NM-Net-sp表示的是采用本文的NM-Net，但是使用空间局部一致性来提取点对应的邻接关系。

图2. 参数k（邻接节点的数量）对算法性能的影响。通过保持网络的其他参数不变，在不同k值下（4,8,16,32）训练网络，来测试该参数对算法性能的影响。

Abstract

Feature correspondence selection is pivotal to many feature-matching based tasks in computer vision. Searching for spatially k-nearest neighbors is a common strategy for extracting local information in many previous works. However, there is no guarantee that the spatially k-nearest neighbors of correspondences are consistent because the spatial distribution of false correspondences is often irregular. To address this issue, we present a compatibility specific mining method to search for consistent neighbors. Moreover, in order to extract and aggregate more reliable features from neighbors, we propose a hierarchical network named NM-Net with a series of convolution layers taking the generated graph as input, which is insensitive to the order of correspondences. Our experimental results have shown the proposed method achieves the state-of-the-art performance on four datasets with various inlier ratios and varying numbers of feature consistencies.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

点击阅读原文，即可获取本文下载链接。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/