上海交大卢策吾团队开源PointSIFT刷新点云语义分割记录

上海交通大学卢策吾团队MVIG实验室最近开源了PointSIFT，这是一个点云特征的提取模块。在Stanford Large-Scale 3D Indoor Spaces(S3DIS) [1] 数据集中可以达到70.23的mIoU(对比PointCNN 62.74,相对提高11.9%)。在另一个常用数据集Stanford的ScanNet [2] 上可以达到41.50的mIoU(对比PointNet++ 38.28, 相对提高8.1%)。

PointSIFT: A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation 

论

文作者

Mingyang Jiang, Yiran Wu, Cewu Lu (通讯作者)

阅

读论文

arXiv:1807.00652, 2018

https://arxiv.org/abs/1807.00652

论

文主页

http://www.mvig.org/publications/pointSIFT.html

代

码链接

https://github.com/MVIG-SJTU/pointSIFT

众所周知，三维语义分割存在着很多的挑战。由于计算量的原因，我们无法将2D卷积神经网络直接推广到3D。自从PointNet系列出现之后，大家开始使用原始点云作为基本输入。这样做能够的保留原始数据的内在关系，并且也能够减少很多不必要的计算。

这个框架现阶段仍有一些问题,比如每个点操作过于独立，而无法高效刻画相关区域的语义结构。针对这些问题，受到传统SIFT feature设计的启发，上海交大MVIG组提出了基于PointSIFT算子的框架。在结构语义描述上，传统SIFT feature设计是最有效的描述算子之一。在图像上，SIFT算子能编码区间上各个方向的信息，同时选择最合适的表征尺度。我们的pointSIFT将其设计思想推广到3D点云域上，对于每一个点云能端对端地输出一个表征向量，该向量编码了各个方向的信息，同时自适应地选择合适的表征尺度。不同于SIFT传统算法，我们采用网络结构，网络参数是由训练获得。

❒ 三维点云PointSift 模块与图像SIFT算子的类比

pointSift模块作为一个通用提高表征能力的模块，可以灵活地嵌入在各种pointnet框架中，比如下图所示。

❒ 基于pointSIFT嵌入的点云分割网络  SA和FP分别为编码器(Set Abstraction)和解码器(Feature Propagation)模块

参考文献

1

 Iro Armeni, Ozan Sener, Amir R. Zamir, Helen Jiang, Ioannis Brilakis, Martin Fischer, and Silvio Savarese. 3d semantic parsing of large-scale indoor spaces. In Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, 2016.

2

 Angela Dai, Angel X. Chang, Manolis Savva, Maciej Halber, Thomas Funkhouser, and Matthias Nießner. Scannet: Richly-annotated 3d reconstructions of indoor scenes. In Proc. Computer Vision and Pattern Recognition (CVPR), IEEE, 2017.

3

 Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. arXiv preprint arXiv:1612.00593, 2016.

4

 Lyne P. Tchapmi, Christopher B. Choy, Iro Armeni, JunYoung Gwak, and Silvio Savarese. Segcloud: Semantic segmentation of 3d point clouds. CoRR, abs/1710.07563, 2017.

5

 Loïc Landrieu and Martin Simonovsky. Large-scale point cloud semantic segmentation with superpoint graphs. CoRR, abs/1711.09869, 2017.

6

Charles R Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. arXiv preprint arXiv:1706.02413, 2017.

7

Y. Li, R. Bu, M. Sun, and B. Chen. PointCNN. ArXiv e-prints, January 2018.

Prof. Cewu Lu is a research Professor at Shanghai Jiao Tong University, leading Machine Vision and Intelligence Group. He is also one of MIT TR35 -"MIT Technology Review, 35 Innovators Under 35 (China)". He was Postdoc at Stanford AI lab (under Fei-Fei Li and Leonidas Guibas) and selected as the 1000 Overseas Talent Plan (Young Talent) (中组部青年千人计划).