神经辐射场: 过去、现在和未来

诸如建模和解释三维环境等各个方面激发了人们在三维计算机视觉、计算机图形学和机器学习领域的研究进展。Mildenhall等人在关于NeRFs（神经辐射场）的论文中的尝试引发了计算机图形学、机器人学、计算机视觉以及高分辨率低存储增强现实和虚拟现实三维模型可能范围的繁荣，已经有超过500篇与NeRFs相关的预印本发表。本文为初学者搭建了从数学、几何、计算机视觉和计算机图形学基础到在所有这些学科交汇处的隐式表示中遇到的困难的桥梁。本调查提供了渲染、隐式学习和NeRFs的历史，NeRFs研究的进展，以及NeRFs在当今世界的潜在应用和影响。在此过程中，本调查从数据集使用、目标函数、解决的应用以及这些应用的评价标准等方面对所有NeRF相关研究进行了分类。近年来，隐式表示函数和机器学习已经渗透到各种应用和传统机器学习无法解决的问题陈述中。与视图合成、3D渲染和建模相关的应用程序也开始利用辐射场(也称为NeRFs)。随着不同学科的应用，如3D计算机视觉、天文学、气候变化和许多其他需要图像/3D几何位置的研究领域的应用，该领域的预打印论文呈指数级增长。虽然辐射场的工作最初是作为提供更好的视图合成的手段，但经过文献和GPU技术的发展，辐射场的工作已经渗透到其他领域，如图像重建、超分辨率、姿态估计、3D感知图像合成、深度估计、图像生成、3D重建、神经渲染和其他计算机视觉相关问题。因此，本综述旨在从数据集、使用的目标函数、解决的问题陈述、采用的评估措施等方面全面分类NeRFs的模型、扩展和应用，同时讨论研究文献中与NeRFs(神经辐射场)领域相关的技术和关键概念。尽管与可微渲染、神经辐射场和微分几何相关的调查很全面，但它们未能满足开始该领域研究的人。因此，这项调查能够弥合这一差距，同时也讨论了NeRF是如何产生的历史。该研究论文对现有的研究文献(如Gao等[63])有以下重要贡献。1. 可以让外行人了解数学、计算机图形学、计算机视觉、几何(微分几何)等方面的基本概念。2. 它根据损失函数、评估指标、应用程序和上线的年份(在arxiv或互联网上的其他来源)进行了独特的分类。3.它全面地尝试讨论神经辐射场的发展，以及傅里叶特征如何用于建模渲染的高频函数[209,147,194]

此外，根据过去和2020-2023年发表的论文，试图追溯神经辐射场和神经渲染的未来发展路径§1给出了本文旨在解决的简要介绍，即描述NeRF模型的分类，并讨论其历史和未来。本文的其余部分组织如下。§2讨论了与神经渲染和新视图合成相关的研究的基本和基本概念和兴趣原则。§3讨论了NeRFs概念之前的各种神经架构。它进一步讨论了在这个领域提出的各种调研，以及这项调研的必要性。§4讨论了神经辐射场的模型、扩展和改进的时间描述。§5简要讨论了到目前为止在NeRFs领域中使用的数据集。此外，这些还会根据不同的目标(见§6)、不同的评估指标(见§7)和不同的应用(见§8)进行分类。§5-8中的所有章节都讨论了过去几年在NeRFs领域的研究(截止到2022年12月)。最后，在§9中探讨了该系列模型的未来前景。§10总结了本文，并讨论了这项研究的一些未来展望。