【泡泡一分钟】Intrinsic3D：基于空间变化光照下结合处外观与几何优化的高质量三维重建（ICCV2017-327）

2018 年 10 月 24 日 泡泡机器人SLAM

每天一分钟，带你读遍机器人顶级会议文章

标题：Intrinsic3D: High-Quality 3D Reconstruction by Joint Appearance and Geometry Optimization with Spatially-Varying Lighting

作者：Robert Maier, Kihwan Kim, Daniel Cremers, Jan Kautz, Matthias Nießner

来源：ICCV 2017 ( IEEE International Conference on Computer Vision)

编译：张建

审核：颜青松陈世浪

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

我们介绍了一种从消费级RGB-D传感器获得高质量的三维重建的新方法。

我们的核心思想在于同时优化带符号距离场（SDF）中的几何编码，自动选择的关键帧中的纹理，以及它们带有材料与场景光照的相机位姿。

为此，我们提出了基于Shape-from-Shading（SfS）技术的结合处表面重建方法，并且利用了重建场景的子体积中空间变化球谐函数（SVSH）的估计。

通过大量的实例和评估，我们证明了我们的方法显著地提高了重建场景几何中的细节等级，并有助于一致的表面纹理恢复。

图1。我们的3D重建方法联合优化了编码在符号距离场(SDF)中的几何和内在材料特性，以及图像形成模型，以产生精细细节几何(顶部)和引人注目的视觉外观(底部)的高质量模型。

图2。我们的结合处外观和几何优化方法的概述。我们的流程将场景的RGB-D数据作为输入，并将其融合到符号距离场（SDF）中。在嵌套式从粗到细的方法中，估计空间变化的光照，并用于联合优化场景的外观和几何形状，产生高质量的3D模型。

图3。我们将SDF体积划分成固定大小的子体积，并估计每个子体积（黄色）的独立球谐（SH）系数。每个体素的SH系数通过相邻子体（红色）光照的三线性插值获得。

图4。喷泉重建的外观。

Abstract

We introduce a novel method to obtain high-quality 3D reconstructions from consumer RGB-D sensors. Our core idea is to simultaneously optimize for geometry encoded in a signed distance field (SDF), textures from automatically-selected keyframes, and their camera poses along with material and scene lighting. To this end, we propose a joint surface reconstruction approach that is based on Shape-from-Shading (SfS) techniques and utilizes the estimation of spatially-varying spherical harmonics (SVSH) from subvolumes of the reconstructed scene. Through extensive examples and evaluations, we demonstrate that our method dramatically increases the level of detail in the reconstructed scene geometry and contributes highly to consistent surface texture recovery.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/forums/