D-OccNet:利用跨领域学习进行详细的3D重建 (D-OccNet: Detailed 3D Reconstruction Using Cross-Domain Learning)

Deep learning based 3D reconstruction of single view 2D image is becoming increasingly popular due to their wide range of real-world applications, but this task is inherently challenging because of the partial observability of an object from a single perspective. Recently, state of the art probability based Occupancy Networks reconstructed 3D surfaces from three different types of input domains: single view 2D image, point cloud and voxel. In this study, we extend the work on Occupancy Networks by exploiting cross-domain learning of image and point cloud domains. Specifically, we first convert the single view 2D image into a simpler point cloud representation, and then reconstruct a 3D surface from it. Our network, the Double Occupancy Network (D-OccNet) outperforms Occupancy Networks in terms of visual quality and details captured in the 3D reconstruction.

翻译：基于 3D 的深度学习重建单一视图 2D 图像正在变得越来越受欢迎, 原因是它们具有广泛的真实世界应用, 但这一任务具有内在挑战性, 因为一个对象从一个角度部分可观测。最近, 基于日期概率的占用网络从三种不同类型的输入领域重建了 3D 表面 : 单一视图 2D 图像、点云和 voxel 。在这项研究中, 我们通过利用图像和点云域的跨域学习来扩展占用网络的工作。具体地说, 我们首先将单一视图 2D 图像转换为更简单的点云表, 然后从中重建一个 3D 表面。我们的网络, 双位占用网络( D- OccNet) 从视觉质量和在 3D 重建中捕捉到的细节上, 超越了默认网络。

相关内容

三维重建

关注 1171

在计算机视觉中, 三维重建是指根据单视图或者多视图的图像重建三维信息的过程. 由于单视频的信息不完全,因此三维重建需要利用经验知识. 而多视图的三维重建(类似人的双目定位)相对比较容易, 其方法是先对摄像机进行标定, 即计算出摄像机的图象坐标系与世界坐标系的关系.然后利用多个二维图象中的信息重建出三维信息。物体三维重建是计算机辅助几何设计(CAGD)、计算机图形学(CG)、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术。在计算机内生成物体三维表示主要有两类方法。一类是使用几何建模软件通过人机交互生成人为控制下的物体三维几何模型,另一类是通过一定的手段获取真实物体的几何形状。前者实现技术已经十分成熟,现有若干软件支持,比如:3DMAX、Maya、AutoCAD、UG等等,它们一般使用具有数学表达式的曲线曲面表示几何形状。后者一般称为三维重建过程,三维重建是指利用二维投影恢复物体三维信息(形状等)的数学过程和计算机技术,包括数据获取、预处理、点云拼接和特征分析等步骤。