中科大NDR项目原作解读：基于单目RGB-D视频的动态重建

基于一段单目 RGB-D 视频恢复目标动态物的几何和运动信息是计算机视觉的经典问题之一。针对该问题的解决方案在虚拟现实、增强现实等领域有着广泛的应用前景。其中以 DynamicFusion 为首的一系列动态融合算法将变形图（Deformation Graph）和截断符号距离场（TSDF）分别作为运动与几何的表征。但由于没有在一个可微的框架下将采集的颜色信息和深度信息一同表示，这类方法未能在重建阶段将颜色信息充分地利用。因此其重建的结果在保真度上依然有不小的提升空间。

为此在 NeurIPS 2022 上，中国科学技术大学等机构结合神经隐式表示提出了一个单目 RGB-D 动态重建方案 NDR。NDR 通过无模板先验的隐式形变场恢复运动信息并将观测帧的采样点变换到基准空间，再通过基准空间中的符号距离场和神经辐射场分别恢复几何与颜色信息。为了保证运动信息的周期一致性，在形变场中设计了一个符合非刚性运动的双射模块。同时，为了解决动态场景中常见的拓扑变化问题，引入了拓扑感知网络。此外，设计的 RGB-D 损失函数能确保 NDR 最终优化出高质量的几何与运动。

机器之心最新一期线上分享邀请到了中国科学技术大学 GCL 实验室三维视觉课题组博士生蔡泓锐（导师为张举勇教授），介绍神经动态重建方案 NDR。

分享主题：NDR：基于单目RGB-D视频的动态重建

分享嘉宾：蔡泓锐，中国科学技术大学 GCL 实验室三维视觉课题组在读博士生。导师为张举勇教授。本科毕业于华南理工大学数学学院。研究方向是三维数字内容的重建、理解与生成。

分享摘要：将分享在 NeurIPS 2022 上提出的一个神经动态重建方案 NDR。它是一种无模板的方法，可以基于单目 RGB-D 视频得到动态场景的高保真几何和运动信息。它能同时保证运动的周期一致性并处理拓扑变化场景。代码现已开源。

相关链接：

Neural Surface Reconstruction of Dynamic Scenes with Monocular RGB-D Camera. NeurIPS 2022.

1）SOTA！模型平台项目主页链接：

https://sota.jiqizhixin.com/project/ndr

2）论文链接：

https://arxiv.org/abs/2206.15258

3）项目主页：

https://ustc3dv.github.io/ndr/

4）开源代码仓库：

https://github.com/USTC3DV/NDR-code

加群看直播

直播间 ： 关注机器之心机动组视频号，北京时间 11 月 21 日 19:00 开播。

交流群： 本次直播设有 QA 环节，欢迎加入本次直播交流群探讨交流。

如群已超出人数限制，请添加机器之心小助手：syncedai2、syncedai3、syncedai4 或 syncedai5，备注「NDR」即可加入。

如果你也有最新工作希望分享或提交你感兴趣的内容方向，随时告诉我们吧： https://jiqizhixin.mikecrm.com/fFruVd3

机器之心 · 机动组

机动组是机器之心发起的人工智能技术社区，聚焦于学术研究与技术实践主题内容，为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。 机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动，欢迎所有 AI 领域技术从业者加入。