【泡泡图灵智库】SegMap: 基于数据驱动描述子的三维点云分割图（arXiv）

泡泡图灵智库，带你精读机器人顶级会议文章

标题：SegMap: 3D Segment Mapping using Data-DrivenDescriptors 

作者：Dubé, R., Cramariuc, A., Dugas, D., Nieto, J., Siegwart, R., & Cadena, C. 

来源： arXiv:1804.09557v1[2018]

播音员：

编译：肖勇

审核：李伟

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

       大家好，今天为大家带来的文章是——SegMap: 3D Segment Mapping using Data-Driven Descriptors : 基于数据驱动描述子的三维点云分割图，该文章于2018年4月提交在arxiv上。

        本文使用一种基于三维点云分割的地图表达方式 SegMap，用于解决定位和建图问题。基于分割的方法不仅能缓解三维点云处理的计算资源需求，也能解决实时的单个或多个机器人系统的需求。SegMap充分利用基于数据驱动的描述子，既可重建稠密三维地图，也可提取语义信息。相比于基于特征值提取特征的方法，本文提出的方法可提高28.3%的ROC 曲线的面积。该方法也得到了与专门为此任务训练得到的模型类似的重建结果。SegMap 的代码将开源在www.github.com/ethz-asl/segmap

主要贡献

        1、可以提高定位效果的新的数据驱动的三维点云分割描述子；

        2、基于定位用的特征进行三维地图重建

算法流程

        为了进行定位和建图，系统包含如下五个部分：点云分割，描述子提取，定位，地图重建，语义识别。其中描述子提取和语义识别是本文主要创新，因此主要介绍该方面的详情。

图1 特征描述子提取框架

        1、特征提取框架

       图1 展示了特征描述子提取的框架。其输入是一个尺寸为32x32x16三维的网格。在使用上述框架时，三维点云需要进行对齐和尺度调整。假设点云的 z 轴和重力方向已经大致对准，对齐是将三维点云分割的x 轴和二维 PCA的最大特征值对应的特征向量对齐。输入的三维点云分割的网格的最小尺寸是0.1m。当某些分割的尺寸超过32x32x16的尺寸时，可以在保证长宽比的前提下调整网格尺寸。

        2、损失函数

        为了同时得到高的检索 (retrival) 效果和重建能力，损失函数包含两部分softmax 的交差熵(cross entropy)和重建损失，其定义如下：

L = Lc + a Lr

        为了学习得到高的检索效果，通过采用类似于N-ways 分类问题实现。训练数据被氛围 N个类别（不是后面提到的语义类别）。因此 Lc 定义为softmax 的交差熵损失函数。 如图1所示，地图重建通过增加解码器网络实现。其中重建损失函数Lr使用了二元交叉熵的损失函数。

        3 、基于知识转移的语义识别

        图1中提取的点云分割实际上表示实际物体或者部分物体。基于SegMap 的描述子，本文使用图2的网络以识别车辆，建筑和其他物体。语义识别的结果可以提高定位效果且减少地图的数据。

图2 语义识别网络

主要结果

        本文利用KITTI数据集训练SegMap 描述子。使用基于特征值的特征和自动编码器模型作为对比方法。

        1、检索效果

        为了对比恢复效果，图3 展示了基于特征值、SegMap描述子、自动编码器的ROC 曲线。这些曲线利用KITTI里程数据集中的序列00中的9万对点云分割的描述子得到。对于每一个标记的点云分割对，为每一对可能的点云分割观察对，我们都生成了一个正样本。如图3所示，SegMap 的描述子获得了最好的检索效果，因此有助于提高回环检测效率。

图3 基于特征值，SegMap描述子，自动编码器的ROC曲线

图4 验证误差

        2、其他实验结果

        实验结果也发现，在重建效果方面，SegMap 的描述子比基于特征值的方法略好。考虑检索的效果，因此SegMap 描述子具有其优越性。而语义识别的效果在训练集和验证集上的精度分别为89%和85%。

        本文也测试了单个或多个机器人在大尺度环境下的定位和制图，图4是其中的一个场景。

图4  一个建筑的重建结果

Abstract

 When performing localization and mapping, working at the level of structure can be advantageous in terms of robustness to environmental changes and differences in illumination. This paper presents SegMap: a map representation solution to the localization and mapping problem based on the extraction of segments in 3D point clouds. In addition to facilitating the computationally intensive task of processing 3D point clouds, working at the level of segments addresses the data compression requirements of real-time single- and multi-robot systems. While current methods extract descriptors for the single task of localization, SegMap leverages a data-driven descriptor in order to extract meaningful features that can also be used for reconstructing a dense 3D map of the environment and for extracting semantic information. This is particularly interesting for navigation tasks and for providing visual feedback to end- users such as robot operators, for example in search and rescue scenarios. These capabilities are demonstrated in multiple urban driving and search and rescue experiments. Our method leads to an increase of area under the ROC curve of 28.3% over current state of the art using eigenvalue based features. We also obtain very similar reconstruction capabilities to a model specifically trained for this task. The SegMap implementation will be made available open-source along with easy to run demonstrations at www.github.com/ethz-asl/segmap. A video demonstration is available at https://youtu.be/CMk4w4eRobg. 

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

点击阅读原文，即可获取本文下载链接。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com