3D reconstruction and view synthesis are foundational problems in computer vision, graphics, and immersive technologies such as augmented reality (AR), virtual reality (VR), and digital twins. Traditional methods rely on computationally intensive iterative optimization in a complex chain, limiting their applicability in real-world scenarios. Recent advances in feed-forward approaches, driven by deep learning, have revolutionized this field by enabling fast and generalizable 3D reconstruction and view synthesis. This survey offers a comprehensive review of feed-forward techniques for 3D reconstruction and view synthesis, with a taxonomy according to the underlying representation architectures including point cloud, 3D Gaussian Splatting (3DGS), Neural Radiance Fields (NeRF), etc. We examine key tasks such as pose-free reconstruction, dynamic 3D reconstruction, and 3D-aware image and video synthesis, highlighting their applications in digital humans, SLAM, robotics, and beyond. In addition, we review commonly used datasets with detailed statistics, along with evaluation protocols for various downstream tasks. We conclude by discussing open research challenges and promising directions for future work, emphasizing the potential of feed-forward approaches to advance the state of the art in 3D vision.


翻译:三维重建与视图合成是计算机视觉、图形学以及增强现实(AR)、虚拟现实(VR)和数字孪生等沉浸式技术中的基础性问题。传统方法依赖于复杂流程中计算密集的迭代优化,限制了其在实际场景中的应用。近年来,由深度学习驱动的前馈方法实现了快速且可泛化的三维重建与视图合成,从而彻底改变了该领域。本综述对用于三维重建与视图合成的前馈技术进行了全面回顾,并根据底层表示架构(包括点云、三维高斯泼溅(3DGS)、神经辐射场(NeRF)等)进行了分类。我们审视了关键任务,如无姿态重建、动态三维重建以及三维感知的图像与视频合成,并重点介绍了它们在数字人、SLAM、机器人等领域的应用。此外,我们回顾了常用数据集及其详细统计数据,以及针对各种下游任务的评估方案。最后,我们讨论了开放的研究挑战和未来工作的潜在方向,强调了前馈方法在推动三维视觉技术前沿发展方面的潜力。

0
下载
关闭预览

相关内容

基础模型时代的图像分割研究综述
专知会员服务
28+阅读 · 2024年8月26日
基于深度学习的物体姿态估计综述
专知会员服务
26+阅读 · 2024年5月15日
深度学习背景下的图像三维重建技术进展综述
专知会员服务
38+阅读 · 2023年9月4日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
基础模型时代的图像分割研究综述
专知会员服务
28+阅读 · 2024年8月26日
基于深度学习的物体姿态估计综述
专知会员服务
26+阅读 · 2024年5月15日
深度学习背景下的图像三维重建技术进展综述
专知会员服务
38+阅读 · 2023年9月4日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员