【CMU博士论文】高斯表示的可微渲染和优化，198页pdf

在这篇论文中，我们探讨了一些快速、稳健和高效的方法，这些方法在许多领域都具有普遍的适用性。具体来说，我们探讨了高斯表示在计算机视觉和机器人学的多个应用领域中的使用。 在第一部分，我们为经典的隐藏表面问题提供了一个替代方法。具体而言，我们为3D高斯设计了一个基于射线的可微渲染器，它可以用于以统一方式解决多个经典的计算机视觉问题。例如，我们可以仅基于梯度优化从颜色、轮廓或光流重建3D形状；这些重建对输入错误具有鲁棒性，且相当快速（在笔记本电脑CPU上需要几分钟）。同样地，我们可以求解已知对象的精确相机姿势估计，与经典方法给出的质量相当。我们的贡献包括隐藏表面问题的替代公式，牺牲了保真度以换取实用性，从而获得了快速的运行时间和高质量的梯度信息。我们扩展了这个渲染器，加入了可微光流，并展示了如何从重建中导出彩色网格。我们展示了从日常物体的自然采集视频上的示例。我们还将介绍我们如何直接从网格中获得3D高斯表示，而不需要采样点集的工作。 在我们的另一研究线中，我们展示了高斯表示如何为机器人学中的经典算法（如立体深度匹配、运动规划、视觉测距和社交导航）的无梯度优化提供强大的基础表示。我们开发了基于用户偏好和数据集变化进行优化的技术。我们展示了如何直接根据用户偏好调整高斯表示，而不需要进行真实数据收集或精细调整的度量设计。此外，我们展示了这些优化器可以仅基于算法响应采样配置，发现多个可能用于不同环境的算法配置。 最后，我们将讨论一个基于回归的、不依赖引用的替代方案，用于分析学术贡献，而不是传统的引用指标。