什么是3D高斯喷溅(Gaussian Splatting，GS)技术？复旦等最新《3D高斯作为新视觉时代》综述，详述3DGS技术

3D 高斯喷溅（3D Gaussian Splatting-GS）作为计算机图形学领域的一项重大进展，提供了显式场景表示和新视角合成，而不依赖于诸如神经辐射场（NeRF）之类的神经网络。这项技术在机器人学、城市映射、自主导航、虚拟现实/增强现实等多个领域找到了广泛的应用，仅举几例。鉴于3D 高斯喷溅的日益普及和不断扩展的研究，本文呈现了过去一年相关论文的全面综述。我们根据特性和应用组织了综述的分类，提供了3D 高斯喷溅理论基础的介绍。通过这篇综述，我们的目标是让新研究者熟悉3D 高斯喷溅，作为该领域重要工作的宝贵参考，并激发未来研究方向，如我们在结论部分所讨论的。

3D 高斯喷溅（3D-GS）作为计算机图形学领域中的一项突出技术，特别是在3D渲染的背景下已经显现出来[Kerbl et al., 2023, Lu et al., 2023, Yu et al., 2023a]。3D-GS提供了一种多功能且强大的方法，用于高效渲染具有高级别细节的复杂场景[Wu et al., 2023a, Cotton and Peyton, 2024]。通过将对象和表面表示为高斯集合，高斯喷溅允许对几何形状和外观属性进行高效和准确的表示[Guédon and Lepetit, 2023, Yu et al., 2023a]。3D-GS克服了体积渲染方法的局限性，提供了更加灵活和适应性的3D对象表示方式[Kerbl et al., 2023]。此外，高斯喷溅使得各种视觉效果如景深和柔和阴影的真实渲染成为可能，使其成为计算机图形学研究和应用中的宝贵工具[Chung et al., 2023a]。本文的主要贡献是提供3D 高斯喷溅的全面概述，探索其背后的进步和应用。通过对现有文献的广泛回顾，我们旨在呈现3D 高斯喷溅中使用的技术和算法的详细分析，包括高斯生成、重构、操作、感知和人类应用的机制。除了调研3D-GS的当前最先进水平，本文还旨在突出该领域的挑战和未解决的研究问题。我们将深入探讨处理大规模场景的高效数据结构、实时渲染的优化技术以及3D-GS与其他渲染算法的集成等话题。此外，我们将讨论3D-GS的各种应用，从机器人技术到自主导航。通过识别这些研究差距，我们希望激发未来的工作并促进3D 高斯分割领域的进步。

总体而言，这篇全面的回顾将有助于深入理解高斯喷溅及其在各个领域的潜在应用。我们的主要贡献如下。

• 统一框架及系统分类。我们引入了一个统一且实用的框架，用于对3D高斯现有工作进行分类。该框架将该领域划分为6个主要方面。此外，我们提供了3D高斯应用的详细分类，提供了该领域的全面视角。
• 全面且最新的回顾。我们的综述提供了关于3D-GS的广泛且最新的回顾，涵盖了经典和前沿方法。对于每个类别，我们提供了细粒度的分类和简明的总结。
• 对3D-GS未来方向的洞见。我们强调了当前研究的技术限制，并提出了几个未来工作的有希望途径，旨在激发这个快速发展领域中的进一步进步。特别强调探索3D-GS的潜在角色，提供对其未来应用的洞见。 **

**本综述的结构如下组织：第2节提供了3D高斯喷溅的背景知识介绍。第3节系统回顾了用于优化3D-GS的方法，包括渲染效率、渲染图像的真实性、成本以及3D-GS涉及的物理考虑。另外，第4节回顾了最近提出的用于重建网格的方法，而第5节比较和总结了用于操纵3D-GS的技术。进一步地，第6节从对象级和场景级的视角检查了3D生成的方法。此外，第7节和第8节分别提供了3D-GS在感知和人体研究中的应用总结。最后，第9节识别了几个3D-GS的有希望的未来方向。

高斯内在属性优化尽管3D高斯喷溅的能力和效率已经得到展示，但在以下有希望的方向上仍有进一步精细化的空间（如图3所示）：（a）使3D-GS更加内存高效对于实时渲染至关重要；（b）渲染图像的质量可以进一步提高；（c）减少合成新视角图像的成本；（d）使3D高斯能够以忠实的动态表示动态场景。

重建如前所述，3D-GS在捕获和从新的视角渲染3D场景中的广泛采用，可以归因于其卓越的渲染速度和产生逼真结果的能力。与NeRFs类似，3D-GS中表面网格的提取（如图4a所示）是一个基本但至关重要的方面。进一步的调查是必要的，以解决挑战性场景，例如单目或少镜头情况（如图4b所示），这些在实际应用中常见，如自动驾驶。此外，3D-GS的训练时间在数分钟的数量级，使得实时渲染成为可能，并促进了动态场景的重建（如图4c所示）。

操作

由于3D-GS的显式属性，它在编辑任务上具有巨大的优势，因为每个3D高斯独立存在（图5）。通过直接操作3D高斯并应用所需的约束，可以轻松编辑3D场景

生成

得益于在扩散模型和3D表示方面取得的重大进步，现在从文本/图像提示生成3D资产成为AIGC领域中的一个有前途的任务。此外，使用3D-GS作为对象（图6a）和场景（图6b）的显式表示，使得快速甚至实时渲染成为可能。除此之外，一些工作专注于改进得分蒸馏采样（SDS）管道（图6c）中固有的耗时优化过程。虽然3D生成已经展示了一些令人印象深刻的结果，但4D生成（图6d）仍然是一个具有挑战性和尚未充分探索的话题。

感知

利用3D-GS，3D感知有潜力增强开放词汇的语义对象检测和定位（图7a）、3D分割（图7b）、移动对象的跟踪（图7c）以及同时定位与映射（SLAM）系统的开发（图7d）。

虚拟人类

使用像NeRF和SDF这样的隐式神经表示学习虚拟人类头像，因为长时间的优化和渲染时间以及生成满意质量的新体姿势的挑战而苦苦挣扎。相比之下，利用3D高斯表示的方法实验性地证明可以提高训练和渲染速度，并提供对人体变形的显式控制。此外，3D高斯方法中的前向蒙皮避免了在神经隐式表示中使用的逆向蒙皮中存在的对应模糊性[Jena et al., 2023]。

通常，基于3D高斯的方法从使用SMPL模板初始化高斯开始，然后使用线性混合蒙皮（LBS）将表示变形到观察空间。然后通过多视图（图8a）或单眼视频（图8b）渲染和监督高斯。此外，一些方法专门在重建人类头部头像（图8c），而一些则专注于通用管道而非针对个体的优化。

结论

3D高斯溅射在计算机图形学和计算机视觉领域展示了显著的潜力。然而，由于3D高斯溅射相关的复杂结构和多样化任务，各种挑战依然存在。本节旨在解决这些挑战，并提出未来研究的潜在途径。本文提供了关于3D高斯溅射的全面且最新的综述，总结了现有的方法及其应用。我们首先回顾了专注于优化3D-GS以提高效率、真实感、成本和物理性能的论文。随后，我们系统地探索了3D-GS的五个主要应用，包括重建、操作、生成、感知和以人为中心的应用。最后，我们深入讨论了这一领域的挑战和潜在的未来发展方向。此外，我们提供了方法的比较总结，为3D视觉和计算机图形学的研究者提供了宝贵的资源。