什么是神经辐射场？滑铁卢大学最新《神经辐射场NeRF在3D视觉》综述，阐述NeRF的方法与应用体系

2022 年 10 月 5 日 专知

神经辐射场(Neural Radiance Field, NeRF)作为一种具有隐式场景表示的新型视场合成技术，在计算机视觉领域引起了广泛的关注。作为一种新颖的视图合成和三维重建方法，NeRF模型在机器人、城市地图、自主导航、虚拟现实/增强现实等领域都有广泛的应用。自Mildenhall等人的原始论文以来，已经发表了250多篇预印本，其中100多篇最终在一级计算机视觉会议上被接受。考虑到NeRF的流行和当前对该研究领域的兴趣，我们认为有必要对过去两年的NeRF论文进行全面的调查，我们将其分为体系结构和基于应用的分类。我们还介绍了基于NeRF的新视图合成理论，并对关键NeRF模型的性能和速度进行了基准比较。希望通过本次调研，为NeRF领域的新研究者提供有益的参考，同时也为未来的研究方向提供参考。

神经辐射场(NeRF)模型是一种利用多层感知器(MLPs)进行隐式神经场景体绘制的新型视图合成方法。在ECCV 2020年由Mildenhall等人[1]首次介绍，NeRF已经达到了最先进的视觉质量，产生了令人印象深刻的演示，并启发了许多后续的作品源自这种新颖的方法。在最近的过去(2022年)，NeRF模型已经在照片编辑、3D表面提取、大型/城市规模的3D表示和视图合成中找到了应用。NeRF模型比其他新视图合成和场景表示方法有一些关键优势。

NeRF模型是自监督的。它们可以只使用一个场景的多视图图像进行训练。与许多其他3D神经表示或视图合成方法不同，NeRF模型只需要图像和姿势来学习场景，不需要3D/深度监督。姿势也可以使用结构从运动(SfM)包，如COLMAP[2]来估计，就像在原始NeRF论文中的某些场景中所做的那样。
NeRF模型是照片逼真的。与[3][4]等经典技术，以及早期新颖的视图合成方法如[5][6][7]、神经3D表示方法[8][9][10]相比，原始NeRF模型在视觉质量方面收敛得更好，而最新的模型表现得更好

在过去的两年中，NeRF模型在计算机视觉社区中引起了很大的关注，在流行的代码聚合网站1上出现了150多篇论文和预印本，在arXiv上出现了200多份预印本。许多预印本最终在顶级计算机视觉会议上发表，如CVPR、ICCV和ECCV, CVPR 2021年发表了不到10篇NeRF论文，CVPR 2022年发表了超过50篇关于该主题的论文。在其他计算机视觉会议上也可以看到类似的趋势。在2022年，NeRF的影响是巨大的，并且不断增加，Mildenhall等人的NeRF原始论文被引用超过1300次，而且兴趣逐年增加。鉴于目前的兴趣和现有的综合调查论文的缺乏，我们认为有必要组织一个这样的论文，以帮助计算机视觉从业者与这一新主题。

这篇手稿的其余部分组织如下。第2节介绍了现有的NeRF调查预印本(2.1)，解释了NeRF体绘制背后的理论(2.2)，介绍了常用的数据集(2.3)和质量评估指标(2.4)。•第三部分是论文的核心，介绍了有影响力的NeRF出版物，并包含了我们创建的分类来组织这些作品。它的子部分详细介绍了在过去两年中提出的不同的NeRF创新家族，以及最近NeRF模型在各种计算机视觉任务中的应用。第四和第五部分讨论了未来可能的研究方向和应用，并总结了调研结果。

神经辐射场 NeRF 理论

Mildenhall等人[1]于2020年首次提出神经辐射场用于新视图合成。NeRFs实现了复杂场景的高度真实感的视图合成，在该领域引起了广泛关注。在其基本形式中，NeRF模型将三维场景表示为由神经网络近似的辐射场。辐射场描述了场景中每个点和每个观看方向的颜色和体积密度。