【泡泡图灵智库】GCNv2：高效关联预测实时SLAM（arXiv）

会员服务 ·

【泡泡图灵智库】GCNv2：高效关联预测实时SLAM（arXiv）

2019 年 4 月 15 日 泡泡机器人SLAM

泡泡图灵智库，带你精读机器人顶级会议文章

标题：GCNv2: Efficient Correspondence Prediction for Real-Time SLAM

作者：Jiexiong Tang, Ludvig Ericson, John Folkesson

来源：arXiv

编译：万应才

审核：李雨昊

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

在本文中，我们提出了一个基于深度学习的网络——GCNv2，用于生成关键点和描述符。GCNv2建立在我们以前的方法GCN的基础上，这是一个为三维投影几何训练的网络。GCNv2采用二进制描述符向量作为ORB特性，因此它可以在ORB-SLAM等系统中轻松替换ORB。GCNv2显著提高了只能在桌面硬件上运行的GCN的计算效率。我们将展示如何使用GCNv2功能在嵌入式低功耗平台Jetson tx2上运行ORB-SLAM的修改版本。实验结果表明，GCNv2的精度与GCN基本相同，且具有足够的鲁棒性，可用于无人机的控制。

Code：https://github.com/jiexiong2016/GCNv2_SLAM

主要贡献

1.GCNv2保持了GCN的准确性，与相关的基于深度学习的特征提取方法和经典方法相比，在运动估计方面提供了显著的改进。

2.与需要桌面GPU进行实时推理的GCN相比，GCNv2的推理可以在嵌入式低功耗硬件（如Jetson TX2）上运行。

3.作者设计的GCNv2具有与ORB功能相同的描述符格式，以便它可以作为SLAM系统（如ORB-SLAM 2或SVO2中的关键点提取程序）中的替代项。

4.作者用GCN-SLAM1在一架真实的无人机上进行控制，证明了我们工作的有效性和鲁棒性，并表明它能处理ORB-SLAM2失效的情况。

算法流程

1.Neural network

作者之前提出的GCN结构由两个主要部分组成：一个带有resnet-50主干的FCN结构和一个双向卷积网络。虽然与现有方法相比，GCN具有令人印象深刻的跟踪性能，但在硬件有限的实时SLAM系统中，GCN具有实际局限性。针对这些问题作者提出了我们部署了一个参数更少的网络，其规模比叠加还要小。直观地说，网络对原始图像中16×16像素大小的每个网格单元执行单独的预测。

2.Feature Extractor

作者将GCNv2的特征训练为二进制，以加速匹配过程并与ORB的特征匹配。为了对这些特性进行二值化，我们在最终输出的顶部添加了一个二进制激活层。为了让通过网络的这一层正确地反向传播损失作者定义了符号函数：

特征映射数f大小设置为256，使描述符具有与ORB特征相同的位宽度，以便将描述符直接合并到现有的基于ORB的视觉跟踪系统中。

像素度量学习用于以最近邻方式训练描述符。二值化特征的三重损失如下：

3.Distributed Keypoint Detector

关键点检测的训练损失与原始GCN相同。使用以下两个连续帧计算

SuperPoint 试图实现类筛角检测，其性能的提高主要归功于其优良的描述符。然而，CNN能够产生比传统方法更具有代表性的特征，接收场更大。因此，我们通过检测16x16网格中的Shi-Tomasi角来生成地面实况，并使用以上方程进行估计。

4.GCN-SLAM与ORB extractor 对比

图1 ORB extractor与GCNv2对比

GCN对于在SLAM中中所针对的嵌入式硬件的实时使用是非常昂贵的。在GCNv 2中，向网络输入一个单一的灰度图像帧，输出两个矩阵：1×320×240键盘掩码和256×320×240特征描述矩阵。关键点掩码被阈值化为OBT。 AIN一组KeyPoint位置、它们的机密性以及相应的256位特征描述符。还用标准的近邻搜索代替了匹配算法。这些修改是为了检验我们的关键点提取方法的性能，而不是ORB-SLAM2的其他跟踪启发式方法的性能。

主要结果

1.与其他算法对比特征跟踪精度

2.回环检测精度

4.建图效果

Abstract

In this paper, we present a deep learning-based network, GCNv2, for generation of keypoints and descriptors.GCNv2 is built on our previous method, GCN, a network trained for 3D projective geometry. GCNv2 is designed with a binary descriptor vector as the ORB feature so that it can easily replace ORB in systems such as ORB-SLAM. GCNv2 significantly improves the computational efficiency over GCN that was only able to run on desktop hardware. We show how a modified version of ORB-SLAM using GCNv2 features runs on a Jetson TX2, an embdded low-power platform. Experimental results show that GCNv2 retains almost the same accuracy as GCN and that it is robust enough to use for control of a flying drone.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

点击阅读原文，即可获取本文下载链接。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/