【泡泡点云时空】结合环境融合的点云语义分割3D循环网络(ECCV2018-10)

泡泡点云时空，带你精读点云领域顶级会议文章

标题：3D Recurrent Neural Networks with Context Fusion for Point Cloud Semantic Segmentation

作者：Xiaoqing Ye, Jiamao Li, Hexiao Huang, Liang Du, and Xiaolin Zhang

来源：ECCV 2018

播音员：Richard

编译：廖康

审核：吕佳俊、郑森华

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

面向3D点云的语义分割是一个开放的研究课题。近期借助神经网络进行3D语义分割的相关工作只考虑了有限的环境信息。这篇论文提出了一个新的用于点云语义分割、端到端的网络——3P-RNN，该网络能够利用点云中内在的环境特征进行多层感知。首先，在多尺度邻域，使用有效的逐点金字塔池化模块获取不同密度的局部结构；然后，利用双向分层循环神经网络（RNN）学习点云大范围的空间相关性。每一个循环层的输入为单元展开的局部特征，并沿两个方向对3D空间进行扫描，以逐步整合空间的结构信息。在室内以及室外的3D数据集中，3P-RNN都取得了非常优秀的结果。

网络架构

3P-RNN的整个网络架构如图一所示，网络输入为3D点云，输出为逐点的语义标签。

图一 3P-RNN网络架构

其中，3P-RNN又由逐点金字塔池化模块以及双向分层RNN模块构成，两模块结构图如下所示。

图二 逐点金字塔池化模块

图三 双向分层RNN模块

实验结果

3P-RNN在室内和室外场景下的分割效果如下图所示。

图四 3P-RNN在S3DIS数据集（室内）上的语义分割结果

图五 3P-RNN在vKITTI数据集（室外）上的语义分割结果

Abstract

Semantic segmentation of 3D unstructured point clouds re- mains an open research problem. Recent works predict semantic label- s of 3D points by virtue of neural networks but take limited context knowledge into consideration. In this paper, a novel end-to-end approach for unstructured point cloud semantic segmentation, named 3P-RNN, is proposed to exploit the inherent contextual features. First the effi- cient pointwise pyramid pooling module is investigated to capture local structures at various densities by taking multi-scale neighborhood into account. Then the two-direction hierarchical recurrent neural networks (RNNs) are utilized to explore long-range spatial dependencies. Each re- current layer takes as input the local features derived from unrolled cells and sweeps the 3D space along two directions successively to integrate structure knowledge. On challenging indoor and outdoor 3D datasets, the proposed framework demonstrates robust performance superior to state-of-the-arts.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/forums/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com