VALSE 论文速览第01期：NeuralRecon: 基于单目视频的实时三维场景重建

2021 年 7 月 20 日 VALSE

首期《VALSE论文速览》上线了！

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE在年度大会、年度进展报告APR、Workshops、Webinar、VALSE短教程等已有品牌活动的基础上，最新推出了《VALSE论文速览》栏目。该栏目将在每周二和周五各发布一篇顶会顶刊论文的15分钟录制视频，对单个前沿工作进行细致讲解。视频将发布于VALSE B站 (欢迎关注：https://space.bilibili.com/562085182/)。

从本周开始，我们将首先陆续推出CVPR 2021 Best Paper Candidates论文系列，将邀请本年度的提名论文作者对相关工作的背景、方法和创新点等方面进行讲解。首期VALSE论文速览选取了来自浙江大学的单目视频实时三维重建工作。该工作由鲍虎军教授和周晓巍研究员指导，孙佳明同学录制，将为大家呈现首个能实时运行的基于学习的密集三维几何重建工作。

感谢并欢迎大家继续关注VALSE论文速览的后续活动！也欢迎大家踊跃报名投稿，我们将在一定的遴选程序后陆续的通过VALSE平台推介高水平的学术论文，相关工作有机会参加VALSE年度杰出学生论文的评选。

论文题目：NeuralRecon: 基于单目视频的实时三维场景重建

作者列表：孙佳明* (商汤科技，浙江大学)，谢一鸣* (浙江大学)，陈凌昊 (浙江大学)，周晓巍 (浙江大学)，鲍虎军 (浙江大学)

观看网址：

https://www.bilibili.com/video/BV1J44y1m7HM/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

NeuralRecon提出了第一个基于深度学习的单目实时三维重建系统。与以往基于深度估计与TSDF融合的方法不同，NeuralRecon直接基于稀疏TSDF表示重建三维表面，并利用基于三维稀疏卷积的GRU来进行联合的局部表面重建与融合，使得当前时刻的重建结果可以基于过往的重建进行增量更新。该设计可以使得网络直接学习到三维表面的局部光滑、全局一致等先验信息，输出准确、连续的三维重建结果。NeuralRecon具有较好的泛化能力，并能在笔记本GPU上实时重建大范围的室内场景。NeuralRecon入选了CVPR 2021的口头报告，并获得了CVPR2021最佳论文奖提名。

论文信息：

[1] Jiaming Sun, Yiming Xie, Linghao Chen, Xiaowei Zhou, Hujun Bao “NeuralRecon: Real-Time Coherent 3D Reconstruction from Monocular Video ,” in Proceeding of IEEE Computer Vision and Pattern Recognition (CVPR), 2021.

论文链接：

[https://arxiv.org/pdf/2104.00681.pdf]

视频讲者简介：

孙佳明目前是商汤科技MIG-3D&MR部门的研究员，同时是浙江大学-商汤三维视觉联合实验室成员，导师是周晓巍研究员。于2017年本科毕业于南方科技大学计算机科学与工程专业，研究兴趣包括三维重建、基于学习的局部特征匹配、三维物体位姿估计与跟踪等。

个人主页：

https://jiamingsun.ml