【泡泡点云时空】集成深度语义分割的3D点云配准

2018 年 11 月 24 日 泡泡机器人SLAM

泡泡点云时空,带你精读点云领域顶级会议文章

标题:Integrating Deep Semantic Segmentation Into 3-D Point Cloud Registration

作者:Anestis Zaganidis , Li Sun , Tom Duckett , and Grzegorz Cielniak

来源:ROBOTICS AND AUTOMATION LETTERS

播音员:Sara

编译:徐二帅

审核:郑森华

欢迎个人转发朋友圈;其他机构或自媒体如需转载,后台留言申请授权

摘要

点云配准是对准不同姿态捕捉到的具有三维重叠场景的重要任务,当点云中的语义信息可以获得时,可以作为寻找对应匹配的先验知识来提高配准精度。语义辅助正态分布变换(SE-NDT)是一种新的点云配准算法,它通过使用语义信息将点云划分为一组正态分布来降低问题的复杂性,然后分别进行点云配准。我们使用PointNet对正态分布变换(NDT)配准思路进行扩展,PointNet是一个用来对点云进行分割和分类的深度神经网络,我们使用PointNet来学习预测每个点的语义标签。我们同样提出了一种适应特殊场景的多通道通用ICP算法。我们在公开分类数据集Semantic3d.net中评估对比了SE-NDT算法和最优秀的配准算法的表现。同样我们使用一系列KITTI公开数据集对训练分类和动态场景配准进行测试,实验证明,由于包含语义信息,即使在存在一系列初始配准错误的请胯下,算法仍在稳健性,精确性和速度方面得到了进步。

图1展示了多种配准方法相对于初始旋转误差的转化误差,我们使用对数标度来度量误差,理想的配准算法将所有点集中在0m的垂直线上。 Fast Global registration配准对于初始误差是不变的,因为在优化中不使用初始估计;当初始旋转误差很大时GICP明显配准失败;SE-NDT算法在对比方法中受到最小影响。

图4a显示了对初始旋转误差最小50%的集合进行配准后平移误差的累积分布。图4b显示了初始旋转误差50%以上的集合配准后平移误差的累积分布。初始旋转误差对SE-NDT和FGR的影响很小。FGR的性能差异可以归因于随机变化。

图6展示多种方法进行路径估计,在几何特征较少情况下Fast Global Registration配准方法出现了严重的错误,加入语义信息的SE-NDT和SE-GICP算法相比较原始算法有很大的改进。

Abstract

Point cloud registration is the task of aligning 3D scans of the same environment captured from different poses. When semantic information is available for the points, it can be used as a prior in the search for correspondences to improve registration. Semantic-assisted Normal Distributions Transform (SE-NDT) is a new registration algorithm that reduces the complexity of the problem by using the semantic information to partition the point cloud into a set of normal distributions, which are then registered separately. In this letter we extend the NDT registration pipeline by using PointNet, a deep neural network for segmentation and classification of point clouds, to learn and predict per-point semantic labels. We also present the Iterative Closest Point (ICP) equivalent of the algorithm, a special case of Multichannel Generalized ICP. We evaluate the performance of SE-NDT against the state of the art in point cloud registration on the publicly available classification data set Semantic3d.net. We also test the trained classifier and algorithms on dynamic scenes, using a sequence from the public dataset KITTI. The experiments demonstrate the improvement of the registration in terms of robustness, precision and speed, across a range of initial registration errors, thanks to the inclusion of semantic information.


如果你对本文感兴趣,想要下载完整文章进行阅读,可以关注【泡泡机器人SLAM】公众号。

欢迎来到泡泡论坛,这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题,或者想刷帖回答问题,泡泡论坛欢迎你!

泡泡网站:www.paopaorobot.org

泡泡论坛:http://paopaorobot.org/forums/


泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成,希望大家珍惜我们的劳动成果,转载请务必注明出自【泡泡机器人SLAM】微信公众号,否则侵权必究!同时,我们也欢迎各位转载到自己的朋友圈,让更多的人能进入到SLAM这个领域中,让我们共同为推进中国的SLAM事业而努力!

商业合作及转载请联系liufuqiang_robot@hotmail.com

登录查看更多
28

相关内容

【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
3D目标检测进展综述
专知会员服务
186+阅读 · 2020年4月24日
CVPR2020 | 商汤-港中文等提出PV-RCNN:3D目标检测新网络
专知会员服务
43+阅读 · 2020年4月17日
专知会员服务
41+阅读 · 2020年2月20日
【泡泡点云时空-PCL源码解读】PCL中的点云配准方法
泡泡机器人SLAM
67+阅读 · 2019年6月16日
【泡泡点云时空】PointConv: 3D点云的深度卷积网络
泡泡机器人SLAM
23+阅读 · 2019年6月12日
【泡泡点云时空】FlowNet3D:学习三维点云中的场景流
泡泡机器人SLAM
41+阅读 · 2019年5月19日
【泡泡点云时空】完美配准:具有平滑密度的3D点云配准
泡泡机器人SLAM
60+阅读 · 2019年5月16日
【泡泡点云时空】联合分割点云中的实例和语义
泡泡机器人SLAM
7+阅读 · 2019年4月27日
【泡泡一分钟】点密度适应性点云配准
泡泡机器人SLAM
16+阅读 · 2018年5月28日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
Arxiv
8+阅读 · 2018年1月25日
VIP会员
Top
微信扫码咨询专知VIP会员