【泡泡图灵智库】仅使用CPU计算的实时全局一致稠密三维重建（RSS）

泡泡图灵智库，带你精读机器人顶级会议文章

标题：FlashFusion: Real-time Globally Consistent Dense 3D Reconstruction using CPU Computing

作者：Lei Han (Tsinghua-Berkeley Shenzhen Institute), Lu Fang (Hong Kong University of Science and Technology)

来源：RSS 2018

编译：林瑞豪

审核：张蕾

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

       大家好，今天为大家带来的文章是——FlashFusion: Real-time Globally Consistent Dense 3D Reconstruction using CPU Computing，该文章发表于RSS 2018。

针对便携式设备上稠密3D重建的实际应用，我们提出了FlashFusion，一种快速的大规模的、高分辨率（亚厘米级）3D重建系统，并且无需使用GPU。它通过鲁棒且快速的全局集束调整方案实现全局一致的定位。并且，他实现基于空间散列的体积融合，以300Hz运行，还实现了基于过高效的有效块选择和纹理提取方案的渲染，以25Hz运行。现实世界和已有数据集的广泛实验表明，FlashFusion成功实现了在受限的计算能力下（即仅用便携式设备上的CPU），实现实时、全局一致、高分辨率（5mm）的大规模稠密3D重建。

主要贡献

     1.我们通过在预积分阶段使用Huber范数来提高定位的鲁棒性。

     2.我们加速了TSDF滤波，达到了300HZ。

     3.我们通过三个阶段加速纹理提取以达到25HZ。

算法流程

图1 本文方法的框架

     1.鲁棒的全局一致的定位

      提取相邻两帧的ORB特征，通过使用李群最小化流形上的代价函数：

因为该代价函数对异常值敏感，因此，在代价函数中，用Huber范式代替了L2范式。为了达到实时，只选择相对位姿变化最明显的10个相对应的关键帧进行优化。为了实现全局一致的位姿估计，我们最小化所有关联的关键帧对的重投影误差

      2、高效的TSDF滤波：

      2.1.TSDF表达：3D点映射为到最近表面的距离，记为符号距离函数(SDF)。深度观察使用投影映射方式集成，投影距离和深度地图值的插值记为表面距离d，并且被融合到TSDF域：

       2.2. 有效的数据选择：所有落入相机视角的视锥的数据块都是候选数据块，然后，滤除掉那些无效的数据块（这些数据块的体素没有有效的sdf值）。

      2.3. 基于关键帧的优化, FlashFusion中颜色值为实际的颜色值和权值相乘的结果。

    3.纹理提取

    3.1.多边形生成：

    每个顶点的准确的位置v通过两个端点Va、Vb的线性插值

为了判断一个体素中是否存在多边形，采取了动态阈值的策略.

    3.2.法线提取

    每个顶点的发现通过对TSDF域求导：

在FlashFusion中，生成一个查找表记录创建或删除块。

主要结果

    1、精度

    定位精度用绝对路径误差评估，结果如下表所示:

表1. TUM RGBD数据集上的定位精度比较

表2. ICL-NUIM数据集上的定位精度比较

关于表面重建精度，我们使用SurfReg工具计算重建纹理和3D模型真值之间的差异，结果如下表:

表3. ICL-NUIM数据集上表面重建精度比较

    2、效率

    FlashFusion在dyson lab数据集上的实验结果如下图所示：

图2. FLASHFUSION中组件的效率分析

FlashFusion的TSDF和纹理提取的实验结果如下表所示：

表4. CHISEL和FLASHFUSION之间的效率比较

Abstract 

    Aiming at the practical usage of dense 3D recon- struction on portable devices, we propose FlashFusion, a Fast LArge-Scale High-resolution (sub-centimeter level) 3D recon- struction system without the use of GPU computing. It enables globally-consistent localization through a robust yet fast global bundle adjustment scheme, and realizes spatial hashing based volumetric fusion running at 300Hz and rendering at 25Hz via highly efficient valid chunk selection and mesh extraction schemes. Extensive experiments on both real world and synthetic datasets demonstrate that FlashFusion succeeds to enable real- time, globally consistent, high-resolution (5mm), and large-scale dense 3D reconstruction using highly-constrained computation, i.e., the CPU computing on portable device.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

点击阅读原文，即可获取本文下载链接。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com