DI-Fusion: 在线隐含 3D 重建与深层前科 (DI-Fusion: Online Implicit 3D Reconstruction with Deep Priors)

Previous online 3D dense reconstruction methods struggle to achieve the balance between memory storage and surface quality, largely due to the usage of stagnant underlying geometry representation, such as TSDF (truncated signed distance functions) or surfels, without any knowledge of the scene priors. In this paper, we present DI-Fusion (Deep Implicit Fusion), based on a novel 3D representation, i.e. Probabilistic Local Implicit Voxels (PLIVoxs), for online 3D reconstruction with a commodity RGB-D camera. Our PLIVox encodes scene priors considering both the local geometry and uncertainty parameterized by a deep neural network. With such deep priors, we are able to perform online implicit 3D reconstruction achieving state-of-the-art camera trajectory estimation accuracy and mapping quality, while achieving better storage efficiency compared with previous online 3D reconstruction approaches. Our implementation is available at https://www.github.com/huangjh-pub/di-fusion.

翻译：先前的在线三维密集重建方法试图在记忆存储和表面质量之间实现平衡,这主要是因为使用了停滞的基本几何表示法,如TSDF(短短的签名距离函数)或冲浪仪,对现场前科一无所知。在本文中,我们介绍了DI-Fusion(深隐含混凝土),这是基于一种新型的三维代表法,即概率性地方隐性二氧化物(PLIVoxs),用于利用一种商品RGB-D相机进行在线三维重建。我们的PLIVox编码场景在考虑深神经网络对本地几何和不确定性进行参数参数比较之前就已进行。在如此深的以前,我们得以进行在线隐含的三维重建,实现最先进的相机轨迹估计准确性和绘图质量,同时实现与先前的在线三维重建方法相比更好的存储效率。我们的实施情况可在https://www.github.com/huangjh-pub/di-punclux查阅。

相关内容

三维重建

关注 1171

在计算机视觉中, 三维重建是指根据单视图或者多视图的图像重建三维信息的过程. 由于单视频的信息不完全,因此三维重建需要利用经验知识. 而多视图的三维重建(类似人的双目定位)相对比较容易, 其方法是先对摄像机进行标定, 即计算出摄像机的图象坐标系与世界坐标系的关系.然后利用多个二维图象中的信息重建出三维信息。物体三维重建是计算机辅助几何设计(CAGD)、计算机图形学(CG)、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术。在计算机内生成物体三维表示主要有两类方法。一类是使用几何建模软件通过人机交互生成人为控制下的物体三维几何模型,另一类是通过一定的手段获取真实物体的几何形状。前者实现技术已经十分成熟,现有若干软件支持,比如:3DMAX、Maya、AutoCAD、UG等等,它们一般使用具有数学表达式的曲线曲面表示几何形状。后者一般称为三维重建过程,三维重建是指利用二维投影恢复物体三维信息(形状等)的数学过程和计算机技术,包括数据获取、预处理、点云拼接和特征分析等步骤。