学界 | 上海交大卢策吾团队开源PointSIFT刷新点云语义分割记录

机器之心发布

上海交通大学

上海交通大学卢策吾团队 MVIG 实验室最近开源了 PointSIFT，这是一个点云特征的提取模块。在 Stanford Large-Scale 3D Indoor Spaces(S3DIS) [1] 中可以达到 70.23 的 mIoU（对比 PointCNN 62.74, 相对提高 11.9%）。在另一个常用数据集Stanford ScanNet [2]上可以达到 41.50 的 mIoU（对比 PointNet++ 38.28, 相对提高 8.1%）。

论文：PointSIFT: A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation

论文作者：Mingyang Jiang、Yiran Wu、Cewu Lu （通讯作者）

• 阅读论文：arXiv:1807.00652, 2018；https://arxiv.org/abs/1807.00652

• 论文主页：http://www.mvig.org/publications/pointSIFT.html

• 代码链接：https://github.com/MVIG-SJTU/pointSIFT

众所周知，三维语义分割存在着很多的挑战。由于计算量的原因，我们无法将 2D 卷积神经网络直接推广到 3D。自从 PointNet 系列出现之后，大家开始使用原始点云作为基本输入。这样做能够的保留原始数据的内在关系，并且也能够减少很多不必要的计算。

这个框架现阶段仍有一些问题, 比如每个点操作过于独立，而无法高效刻画相关区域的语义结构。针对这些问题，受到传统 SIFT feature 设计的启发，上海交大 MVIG 组提出了基于 PointSIFT 算子的框架。在结构语义描述上，传统 SIFT feature 设计是最有效的描述算子之一。在图像上，SIFT 算子能编码区间上各个方向的信息，同时选择最合适的表征尺度。我们的 pointSIFT 将其设计思想推广到 3D 点云域上，对于每一个点云能端对端地输出一个表征向量，该向量编码了各个方向的信息，同时自适应地选择合适的表征尺度。不同于 SIFT 传统算法，我们采用网络结构，网络参数是由训练获得。

三维点云 PointSift 模块与图像 SIFT 算子的类比

pointSift 模块作为一个通用提高表征能力的模块，可以灵活地嵌入在各种 pointnet 框架中，比如下图所示。

基于 pointSIFT 嵌入的点云分割网络 SA 和 FP 分别为编码器 (Set Abstraction) 和解码器 (Feature Propagation) 模块

参考文献：

1. Iro Armeni, Ozan Sener, Amir R. Zamir, Helen Jiang, Ioannis Brilakis, Martin Fischer, and Silvio Savarese. 3d semantic parsing of large-scale indoor spaces. In Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, 2016.
   

2. Angela Dai, Angel X. Chang, Manolis Savva, Maciej Halber, Thomas Funkhouser, and Matthias Nießner. Scannet: Richly-annotated 3d reconstructions of indoor scenes. In Proc. Computer Vision and Pattern Recognition (CVPR), IEEE, 2017.

3. Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. arXiv preprint arXiv:1612.00593, 2016.

4. Lyne P. Tchapmi, Christopher B. Choy, Iro Armeni, JunYoung Gwak, and Silvio Savarese. Segcloud: Semantic segmentation of 3d point clouds. CoRR, abs/1710.07563, 2017.

5. Loïc Landrieu and Martin Simonovsky. Large-scale point cloud semantic segmentation with superpoint graphs. CoRR, abs/1711.09869, 2017.

6. Charles R Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. arXiv preprint arXiv:1706.02413, 2017.

7. Y. Li, R. Bu, M. Sun, and B. Chen. PointCNN. ArXiv e-prints, January 2018.

Prof. Cewu Lu is a research Professor at Shanghai Jiao Tong University, leading Machine Vision and Intelligence Group. He is also one of MIT TR35 -"MIT Technology Review, 35 Innovators Under 35 (China)". He was Postdoc at Stanford AI lab (under Fei-Fei Li and Leonidas Guibas) and selected as the 1000 Overseas Talent Plan (Young Talent) (中组部青年千人计划).  

本文为机器之心发布，转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心（全职记者 / 实习生）：hr@jiqizhixin.com

投稿或寻求报道：content@jiqizhixin.com

广告 & 商务合作：bd@jiqizhixin.com