【泡泡图灵智库】SGPN：用于3D点云实例分割的相似群建议网络（CVPR）

会员服务 ·

【泡泡图灵智库】SGPN：用于3D点云实例分割的相似群建议网络（CVPR）

2019 年 1 月 21 日 泡泡机器人SLAM

泡泡图灵智库，带你精读机器人顶级会议文章

标题：SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation

作者：Weiyue Wang，Ronald Yu，Qiangui Huang，
Ulrich Neumann

来源：CVPR2018

编译：颜青松

审核：李永飞

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

大家好，今天带来的文章是：SGPN：用于3D点云实例分割的相似群建议网络，该文章发表于CVPR2018。

本文提出了相似群建议网络（SGPN），它是一个用于三维点云的实例分割简单直接的深度学习框架。

SGPN使用单个网络来预测点云聚类和每个聚类对应的分割结果，最后可直接得到实例分割结果。本文提出了相似矩阵，其表示的是每对点在嵌入特征空间中的相似度。在SGPN中也使用了该相似矩阵，用于表达实例分割的结果，一方面提高了SGPN的效率，另一方面也能提供精度更高的聚类分割结果。

截止本文发表时，SGPN是三维点云上第一个实例分割网络。为证明SGPN的性能，本文在多个3D数据集上测试了其分割效果，并探索了如何提高SGPN的性能。最后，本文还尝试整合2D CNN网络来测试了SGPN的可扩展性，并得到了更好的实例分割结果。

主要贡献

1）提出了一套端到端的三维实例分割网络SGPN，并保证了其直观、简单、可扩展和效率；

2）创新式地使用了相似矩阵来在三维点云中表达实例分割结果，一方面提高了SGPN的效率，另一方面也能提供精度更高的聚类分割结果。

算法流程

图1：展示了SGPN网络的整个流程。首先使用PointNet/PointNet++来获取点云的特征，然后在特征的基础上计算三个属性矩阵相似矩阵、置信度矩阵和语义分割矩阵，最后将所有结果整合即可得到实例分割结果。

相似矩阵

相似矩阵是一个Np×Np的矩阵，其中i行j列的元素表示的是点Pi和Pj的是否属于同一个分割实例。通常而言，同一个分割实例中的点的相似度更高，即特征向量的距离更近。换句话说，属于同一类别但是不同实例的点云的距离也较远。图2右下角的可视化结果中，虽然所有的桌腿都属于同一个分类结果，但是他们属于不同的分割实例，因此点云的距离也较远。

图2展示了SGPN中的相似矩阵的一个可视化结果，表示了一个指定点到其余点的距离。红色箭头处表示的是指定点的位置，点云的颜色表示相似度，黑色表示你距离较近。

置信度矩阵

置信度矩阵的主要目的是反映每一个聚类是一个正确分割实例的可信度。在训练阶段，置信度矩阵来自于相似矩阵；但是在使用阶段，置信度矩阵和相似矩阵都是同时计算。

图3：可视化了置信度矩阵，颜色越深表示可信度越高，而实例相交处的颜色则较浅。

语义分割矩阵

语义分割矩阵是一个基于点的分割器。经过PointNet求取特征后分割成Nc个类别，最终输出一个Np×Nc的语义分割矩阵。

聚类合并

直接通过相似矩阵生成的聚类结果会存在较多的噪声和重叠。本文通过去除一些置信度较低的聚类结果，并进一步使用极大值抑制等方法最终得到一个噪声较低和没有重叠的聚类结果。

当聚类完成后，每一个点都会属于某一个实例。但是在两个实例的相邻区域，点则可能属于两个实例；本文的方案就是将该点随机设置为某一个实例。

主要结果

为验证SGPN的性能，本文总共在S3DIS、NYUV2和ShapeNet三个数据集上测试了本文算法的性能，并同时探索了如何提高SGPN的性能，并且测试了通过整合2D-CNN来提高SGPN的性能。

S3DIS

S3DIS全称斯坦福三维室内分割数据集(Stanford 3D Indoor Semantics Dataset)，该数据集包括6个场景中271个房间的扫描数据。点云中的每一个点都指定了分割类别和实例类别。

图4：展示了SGPN在S3DIS上的结果。(a)是实例分割的真实结果，不同的颜色表示不同的实例，(b)是SGPN的实例分割的结果，(c)是Seg-Cluster的实例分割结果，(d)是分割的真实结果，(e)是SGPN的语义分割结果。

NYUV2

NYUV2中的部分数据集来自于RGBD图像，该数据中有2D语义分割和3D包围盒。在本文的训练中，将其分成了795张训练数据和654张测试数据。

图5：展示了SGPN在NYUV2上的实例分割结果。(a)是输入点云，(b)是真实实例分割结果，(c)是SGPN的分割结果，(d)是将SGPN与2D CNN整合得到的结果。

ShapeNet

ShapeNet包含16881个标记目标，总共被分为50类。在本文的训练中，将795个用于训练，654个用于测试。

图6：(a)实例分割的真实结果，(b)SGPN的实例分割结果，(c)PointNet++的语义分割结果，(d)SGPN的语义分割结果。

结论

本文提出了SGPN框架用于三维点云的实例分割，该框架具有直观、简易和可扩展等许多优良特性。在未来，作者将继续推进研究，解决高内存、全自动分割等等问题。

Abstract

We introduce Similarity Group Proposal Network (SGPN), a simple and intuitive deep learning framework for 3D object instance segmentation on point clouds. SGPN uses a single network to predict point grouping proposals and a corresponding semantic class for each proposal, from which we can directly extract instance segmentation results. Important to the effectiveness of SGPN is its novel representation of 3D instance segmentation results in the form of a similarity matrix that indicates the similarity between each pair of points in embedded feature space, thus producing an accurate grouping proposal for each point. To the best of our knowledge, SGPN is the first framework to learn 3D instance-aware semantic segmentation on point clouds. Experimental results on various 3D scenes show the effectiveness of our method on 3D instance segmentation, and we also evaluate the capability of SGPN to improve 3D object detection and semantic segmentation results. We also demonstrate its flexibility by seamlessly incorporating 2D CNN features into the framework to boost performance.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

点击阅读原文，即可获取本文下载链接。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/