【泡泡一分钟】用于点云三维语义分割的分层深度图卷积神经网络

会员服务 ·

【泡泡一分钟】用于点云三维语义分割的分层深度图卷积神经网络

2019 年 9 月 13 日 泡泡机器人SLAM

每天一分钟，带你读遍机器人顶级会议文章

标题：Hierarchical Depthwise Graph Convolutional Neural Network for 3D Semantic Segmentation of Point Clouds

作者：Zhidong Liang, Ming Yang, Liuyuan Deng, Chunxiang Wang and Bing Wang

来源：2019 International Conference on Robotics and Automation (ICRA)

编译：章绩伟

审核：黄思宇，孙钦

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

本文提出了一种用于点云语义分割的分层深度图卷积神经网络（HDGCN）。学习点云的主要挑战是捕捉局部结构或关系。图形卷积具有从邻居提取局部形状信息的强大能力。受深度卷积的启发，我们提出了深度图卷积，与之前的图卷积相比，它需要更少的内存消耗。虽然深度图卷积在通道方面聚合特征，但逐点卷积用于学习不同通道的特征。一个名为DGConv的定制块专门用于基于深度图卷积和逐点卷积的局部特征提取。DGConv块可以从点提取特征并将特征传递给邻居，同时对不同的点顺序不变。HDGCN由一系列DGConv块使用分层结构构成，它可以提取点云的局部和全局特征。实验表明，HDGCN在室内数据集S3DIS和室外数据集Paris-Lille-3D中实现了最先进的性能。

图1 我们网络的输入是具有xyz坐标和其他属性（如RGB或强度）的点云。输出是每个点的语义标签。

图2 在整个网络中点集变化示例。输入点集的形状与椅子相似。最远点采样（FPS）用于对最后一层的点集进行下采样。上采样时，它通过跳过连接从编码器中的相应层获取点集。

图3 图卷积的示例。顶部是参考文献[12]中的图卷积。底部是我们提出的深度图卷积。图形卷积基于kNN图并且这里我们选择k = 4。我们提出的深度图卷积有三种特殊设计。在矩形（a）中，我们设计了消耗内存较少的滤波器⊆R1×I。在矩形（b）中，我们使用元素乘法而不是矩阵乘法。在矩形（c）中，我们使用1×1卷积来提取不同通道的特征。这里“MLP “代表多层感知器。

图4 我们的分层深度图卷积神经网络的示例。整个架构由一系列基于深度图卷积和逐点卷积的称为DGConv的定制块组成。DGConv(Ni,Oi)表示该DGConv块输出具有Oi特征通道的Ni点。在DGConv块中，仅在编码时由FPS生成N1×3。如果解码，则通过跳过连接（以红线显示）而不是FPS获得N1×3。最后，网络通过完全连接层输出N×C，其中C是类的数量。

图5 S3DIS上的语义分割结果。

图6 Paris-Lille-3D基准测试的语义分割结果。基准测试提供了三个没有真实值的测试场景，因此我们可视化我们网络的预测。第一列是场景的鸟瞰图，第二列是更详细的视图。

Abstract

This paper proposes a hierarchical depthwise graph convolutional neural network (HDGCN) for point cloud semantic segmentation. The main chanllenge for learning on point clouds is to capture local structures or relationships. Graph convolution has the strong ability to extract local shape information from neighbors. Inspired by depthwise convolution, we propose a depthwise graph convolution which requires less memory consumption compared with the previous graph convolution. While depthwise graph convolution aggregates features channel-wisely, pointwise convolution is used to learn features across different channels. A customized block called DGConv is specially designed for local feature extraction based on depthwise graph convolution and pointwise convolution. The DGConv block can extract features from points and transfer features to neighbors while being invariant to different point orders. HDGCN is constructed by a series of DGConv blocks using a hierarchical structure which can extract both local and global features of point clouds. Experiments show that HDGCN achieves the state-of-the-art performance in the indoor dataset S3DIS and the outdoor dataset Paris-Lille-3D.

如果你对本文感兴趣，请点击点击阅读原文下载完整文章，如想查看更多文章请关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

百度网盘提取码：co3d

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/