【泡泡点云时空】非刚性形状3D关键点描述子的生成与匹配（ECCV2018-6）

泡泡点云时空，带你精读点云领域顶级会议文章

标题：Learning 3D Keypoint Descriptors for Non-Rigid Shape Matching 

作者：Hanyu Wang, Jianwei Guo, Dong-MingYan, Weize Quan, and Xiaopeng Zhang

来源：ECCV 2018

播音员：杨柳

编译：刘瑜

审核：吕佳俊、郑森华

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

本文提出了一个新的深度学习框架，可以根据3D表面形状生成有辨识度的局部描述子。先前的网络多依赖于多视图图像，或是需要提取固有形状特性。文中把关键点的邻域进行多尺度量化，参数化为规则2D网格，文中称之为“几何图像”。 这种几何图像是一种几何信息的网孔表示法。它把不规则的网孔参数化到平方域中，进而将其表示成2D图像。它不仅保留了丰富的几何信息，而且能够应用CNN。此外，文中提出一个用来学习的三元网络和一个用来区分关键点对相似性的三元损失函数。非刚性形状匹配实验的结果显示，相较于传统描述子和当前最佳的基于学习的描述子，本文提出的方法具有优越性。

图1为本文方法的框架图。提取关键点的局部块并生成几何图；再将3个样本分别输到同一个网络中，输出每个几何图的描述向量；最后计算损失。

图2 是网络结构示意图。输入为32*32的几何图，输出为128维的特征描述向量。

上式是本文提出的三元损失函数，加入的第一项使它能最小化一个batch的正样本的标准偏差与平均值之比。

图3是与其他3个相似的损失函数的对比实验结果，证明提出的三元损失函数训练结果更好。

图4是生成训练数据的一个示例。在一个关键点上，生成3个尺度的几何图。从上到下，局部块的尺度逐渐变大，且第三行的尺度块旋转了90°。从左到右，依次是几何图编码法向量和曲率特征。

图5是在3个数据集上的对比实验结果，Pk% 表示 CMC曲线中前k个等级内正确匹配的分数 ，AP表示平均精度。可以看出，本文方法在后两个数据集上的精度均为最高。

图6展示了FAUST数据集上的一组实验结果。红色为错误匹配，蓝色为正确匹配，可以看出本文方法匹配得较为准确。

Abstract

In this paper, we present a novel deep learning framework that derives discriminative local descriptors for 3D surface shapes. In contrast to previous convolutional neural networks (CNNs) that rely on rendering multi-view images or extracting intrinsic shape properties, we parameterize the multi-scale localized neighborhoods of a keypoint into regular 2D grids, which are termed as ‘geometry images’. The benefits of such geometry images include retaining sufficient geometric information, as well as allowing the usage of standard CNNs. Specifically, we leverage a triplet network to perform deep metric learning, which takes a set of triplets as input, and a newly designed triplet loss function is minimized to distinguish between similar and dissimilar pairs of keypoints. At the testing stage, given a geometry image of a point of interest, our network outputs a discriminative local descriptor for it. Experimental results for non-rigid shape matching on several benchmarks demonstrate the superior performance of our learned descriptors over traditional descriptors and the state-of-the-art learning-based alternatives.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/forums/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com