Obtaining high-quality 3D reconstructions of room-scale scenes is of paramount importance for upcoming applications in AR or VR. These range from mixed reality applications for teleconferencing, virtual measuring, virtual room planing, to robotic applications. While current volume-based view synthesis methods that use neural radiance fields (NeRFs) show promising results in reproducing the appearance of an object or scene, they do not reconstruct an actual surface. The volumetric representation of the surface based on densities leads to artifacts when a surface is extracted using Marching Cubes, since during optimization, densities are accumulated along the ray and are not used at a single sample point in isolation. Instead of this volumetric representation of the surface, we propose to represent the surface using an implicit function (truncated signed distance function). We show how to incorporate this representation in the NeRF framework, and extend it to use depth measurements from a commodity RGB-D sensor, such as a Kinect. In addition, we propose a pose and camera refinement technique which improves the overall reconstruction quality. In contrast to concurrent work on integrating depth priors in NeRF which concentrates on novel view synthesis, our approach is able to reconstruct high-quality, metrical 3D reconstructions.


翻译:获得高质量的3D对室内场景的重建对于AR或VR的即将应用至关重要。 这些应用包括:电话会议、虚拟测量、虚拟室规划、虚拟室规划、机器人应用等混合现实应用、虚拟计量、虚拟室规划、机器人应用等。目前使用神经弧度场(NERFs)的量基合成方法显示复制物体或场景的有希望的结果,但它们并不重建实际表面。以密度为基础的表面的体积表示在利用三进制立方体提取表面时,会导致文物。此外,在优化期间,密度在射线上积累,而不是单独在一个取样点使用。我们提议使用隐含的功能(经授权的远程功能)代表表面。我们表明如何将这种表示方式纳入NERF框架,并将它扩大到从商品RGB-D传感器(如Kinect)进行深度测量。此外,我们提议了一种表面和摄像改进技术,以提高总体重建质量。与在NRF系统进行整合前的深度工作相比,我们提议在NRF系统重建前的深度方面采用高质量的方法。

0
下载
关闭预览

相关内容

Surface 是微软公司( Microsoft)旗下一系列使用 Windows 10(早期为 Windows 8.X)操作系统的电脑产品,目前有 Surface、Surface Pro 和 Surface Book 三个系列。 2012 年 6 月 18 日,初代 Surface Pro/RT 由时任微软 CEO 史蒂夫·鲍尔默发布于在洛杉矶举行的记者会,2012 年 10 月 26 日上市销售。
专知会员服务
15+阅读 · 2021年5月13日
【图与几何深度学习】Graph and geometric deep learning,49页ppt
专知会员服务
109+阅读 · 2020年3月12日
三维重建 3D reconstruction 有哪些实用算法?
极市平台
12+阅读 · 2020年2月23日
跟踪SLAM前沿动态系列之ICCV2019
泡泡机器人SLAM
7+阅读 · 2019年11月23日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
7+阅读 · 2021年8月25日
VIP会员
相关VIP内容
专知会员服务
15+阅读 · 2021年5月13日
【图与几何深度学习】Graph and geometric deep learning,49页ppt
专知会员服务
109+阅读 · 2020年3月12日
相关资讯
三维重建 3D reconstruction 有哪些实用算法?
极市平台
12+阅读 · 2020年2月23日
跟踪SLAM前沿动态系列之ICCV2019
泡泡机器人SLAM
7+阅读 · 2019年11月23日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员