【泡泡一分钟】基于多视图卷积网络的草图三维重建技术(3dv-66)

每天一分钟，带你读遍机器人顶级会议文章

标题：3D Shape Reconstruction from Sketches via Multi-view Convolutional Networks 

作者：Zhaoliang Lun, Matheus Gadelha, Evangelos Kalogerakis, Subhransu Maji, and Rui Wang

来源：3dv 2017 ( International Conference on 3D Vision）

播音员：糯米

编译：王嫣然 周平

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

我们提出了一种以线条图的形式从二维草图重建三维形状的方法。

该方法将一个或多个草图作为输入，输出草图三维重建后的密集点云，之后点云被转换成多边形网格。该方法的核心是深度编码器-解码器网络。编码器将草图转换为形状信息的紧凑编码形式。解码器首先将该编码转换为深度法线地图，从几个输出角度捕捉底潜在面。然后通过解决深度和法线融合到所有视点的优化问题，将多视图映射合并到一个3D点云中。

实验结果表明，与体积网络等方法相比，该方法具有更高的重建可靠性，更高的输出表面分辨率以及更好的保存拓扑和形状结构等优势。

在没有优化的情况下，噪声点云将导致重建形状的不一致区域。

该图中蓝色的形状代表我们的方法从输入草图中产生的重构。橙色的形状是通过基于素描的检索获得的训练数据集的最接近的形状。

Abstract

    We propose a method for reconstructing 3D shapes from 2D sketches in the form of line drawings. Our method takes as input a single sketch, or multiple sketches, and outputs a dense point cloud representing a 3D reconstruction of the input sketch(es). The point cloud is then converted into a polygon mesh. At the heart of our method lies a deep, encoder-decoder network. The encoder converts the sketch into a compact representation encoding shape information. The decoder converts this representation into depth and normal maps capturing the underlying surface from several output viewpoints. The multi-view maps are then consolidated into a 3D point cloud by solving an optimization problem that fuses depth and normals across all viewpoints. Based on our experiments, compared to other methods, such as volumetric networks, our architecture offers several advantages, including more faithful reconstruction, higher output surface resolution, better preservation of topology and shape structure.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

链接: https://pan.baidu.com/s/1TGZxfidtb1EpzKHu0cd0eg 密码: 8cgm

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com