【泡泡点云时空】基于关联嵌入的单图像分割平面三维重建

泡泡点云时空，带你精读点云领域顶级会议文章

标题：Single-Image Piece-wise Planar 3D Reconstruction via Associative Embedding

作者：Zehao Yu, Jia Zheng, Dongze Lian, Zihan Zhou, Shenghua Gao

来源：arxiv 2019

编译：巩雪萍

审核：徐二帅

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

单张图像分割平面三维重建的目的在于同时分割平面实例并从图像恢复三维平面参数。最近一些方法利用卷积神经网络（CNN）能够获得有希望的结果。然而，这些方法仅限于检测具有某些学习顺序的固定数量的平面。为了解决这个问题，我们提出了一种基于关联嵌入的新颖的两阶段三维重建方法，其灵感来自于最近在实例分割方面的成功。在第一阶段，我们训练CNN将每个像素映射到嵌入空间，其中来自同一平面实例的像素具有类似的嵌入。然后，通过有效的均值漂移聚类算法将嵌入矢量在平面区域中分组，从而获得平面实例。在第二阶段，我们通过考虑像素级和实例级一致性来估计每个平面实例的参数。通过所提出的方法，我们能够检测任意数量的平面。对公共数据集的大量实验验证了我们方法的有效性。此外，我们的方法在测试时以30fps运行，因此可以应对许多实时应用，例如可视SLAM和人机交互。相关代码见：https://github.com/svip-lab/PlanarReconstruction.

图1 算法网络架构

图2 算法分割平面三维重建实例

Abstract

Single-image piece-wise planar 3D reconstruction aims to simultaneously segment plane instances and recover 3D plane parameters from an image. Most recent approaches leverage convolutional neural networks (CNNs) and achieve promising results. However, these methods are limited to detecting a fixed number of planes with certain learned order. To tackle this problem, we propose a novel two-stage method based on associative embedding, inspired by its recent success in instance segmentation. In the first stage, we train a CNN to map each pixel to an embedding space where pixels from the same plane instance have similar embeddings. Then, the plane instances are obtained by grouping the embedding vectors in planar regions via an efficient mean shift clustering algorithm. In the second stage, we estimate the parameter for each plane instance by considering both pixel-level and instance-level consistencies. With the proposed method, we are able to detect an arbitrary number of planes. Extensive experiments on public datasets validate the effectiveness and efficiency of our method. Furthermore, our method runs at 30 fps at the testing time, thus could facilitate many real-time applications such as visual SLAM and human-robot interaction. Code is available at https://github.com/svip-lab/PlanarReconstruction.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com