ICRA2019 | ScalableFusion: 基于Mesh的高分辨率实时三维重建

2019 年 12 月 19 日 计算机视觉life

点击上方“计算机视觉life”，选择“星标”

快速获得最新干货

标题：ScalableFusion: High-resolution Mesh-based Real-time 3D Reconstruction

作者：Simon Schreiberhuber, Johann Prankl, Timothy Patten and Markus Vincze

来源：2019 International Conference on Robotics and Automation (ICRA) Palais des congres de Montreal, Montreal, Canada, May 20-24, 2019

编译：杨雨生

审核：黄思宇，孙钦

摘要

稠密三维重建可以生成，能够用于许多机器人应用环境的全局一致性数据。然而，当前的基于RGB-D图像的三维重建，只能保持颜色分辨率与所使用的深度相机的分辨率相匹配。这一点牢牢限制住了重建模型的精度和还原度。在本文中，作者提出了一种实时三维重建算法，能够以尽可能高的几何保真度来进行表面重建和保持，并且能够以传感器的完整分辨率来进行着色（或添加表面纹理）。作者提出的一种多尺度内存管理方法和“细节级别”的解决方案，不仅能够对小尺度的物体进行详细的建模，对于大尺度的对象，比如房间或者建筑物，也能够进行详细的建模。作者利用一个PrimeSense RGB-D 相机，同时将这个相机的深度通道与一个高分辨率的全局快门相机相结合，验证了所提出方法的优越性。进一步的实验表明，作者所提出的内存管理方法能够处理当前最新技术处理不了的大规模场景。

图1：上图是对三个苹果进行重建的结果，其中左图是 ElasticFusion, 面元是根据表面法向量进行着色。右图是 ScaleableFusion, 直接基于Mesh的重建。

图2：“细节级别“解决方案示例。其中右侧是显示了细节，左侧部分则是以较低的分辨率显示的。红色圈出的部分是图1的苹果。

图3：左图，将点云数据粗分割为小块的patch。右图，对patch进行三角化。

图4：上图显示的是法向量信息。尽管上述两种方法显示了相似的结果，作者的方法显示了更多的细节。

图5：大部分现有的方法对于颜色信息进行了平均处理，如（a）所示；作者的方法（b, c）则保留了更多的细节，如果采用了更高分辨率的图像的话，效果会更好（c）。

图6：上图是对一个大型办公室进行重建的部分结果。

Abstract

Dense 3D reconstructions generate globally consistent data of the environment suitable for many robot applications. Current RGB-D based reconstructions, however, only maintain the color resolution equal to the depth resolution of the used sensor. This firmly limits the precision and realism of the generated reconstructions. In this paper we present a real-time approach for creating and maintaining a surface reconstruction in as high as possible geometrical fidelity with full sensor resolution for its colorization (or surface texture). A multi-scale memory management process and a Level of Detail scheme enable equally detailed reconstructions to be generated at small scales, such as objects, as well as large scales, such as rooms or buildings. We showcase the benefit of this novel pipeline with a PrimeSense RGB-D camera as well as combining the depth channel of this camera with a high resolution global shutter camera. Further experiments show that our memory management approach allows us to scale up to larger domains that are not achievable with current state-of-the-art methods.

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、检测分割识别、三维视觉、医学影像、GAN、自动驾驶、计算摄影、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~

投稿、合作也欢迎联系：simiter@126.com

长按关注计算机视觉life

相关内容

三维重建

关注 1172

在计算机视觉中, 三维重建是指根据单视图或者多视图的图像重建三维信息的过程. 由于单视频的信息不完全,因此三维重建需要利用经验知识. 而多视图的三维重建(类似人的双目定位)相对比较容易, 其方法是先对摄像机进行标定, 即计算出摄像机的图象坐标系与世界坐标系的关系.然后利用多个二维图象中的信息重建出三维信息。物体三维重建是计算机辅助几何设计(CAGD)、计算机图形学(CG)、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术。在计算机内生成物体三维表示主要有两类方法。一类是使用几何建模软件通过人机交互生成人为控制下的物体三维几何模型,另一类是通过一定的手段获取真实物体的几何形状。前者实现技术已经十分成熟,现有若干软件支持,比如:3DMAX、Maya、AutoCAD、UG等等,它们一般使用具有数学表达式的曲线曲面表示几何形状。后者一般称为三维重建过程,三维重建是指利用二维投影恢复物体三维信息(形状等)的数学过程和计算机技术,包括数据获取、预处理、点云拼接和特征分析等步骤。

CVPR 2020 最佳论文与最佳学生论文！

专知会员服务

35+阅读 · 2020年6月17日

【CVPR2020-Facebook】从检测到3D目标，FroDO: From Detections to 3D Objects

专知会员服务

32+阅读 · 2020年5月12日

基于视觉的三维重建关键技术研究综述

专知会员服务

160+阅读 · 2020年5月1日

【CVPR2020-Oral】自监督单目场景流量估计，Self-Supervised Monocular SFE

专知会员服务

22+阅读 · 2020年4月9日