【牛津大学博士论文】学习用几何和语义表示场景，149页pdf

场景表示是将对环境的传感观察转换为紧凑描述的过程。这种智能行为是人工智能的基石。长期以来，科学家们一直试图重现人类理解物理环境的非凡能力。将对环境的视觉传感观察作为输入，现代智能系统主要致力于学习对基本场景属性(如几何和语义)进行编码的神经表示。这种表示可以用于支持其他下游任务，最终在复杂的3D世界中实现自主感知和交互。近年来，深度神经网络在神经场景表示中的几何和语义信息建模方面表现出色。然而，由于不受控制的现实场景的脆弱性，构建健壮的系统仍然具有很高的挑战性。由于对场景变化的传感观察的差异，不同类型的视觉表示之间的领域差距，以及对多类别信息的高效感知的要求，这为场景表示学习带来了巨大的复杂性。为克服这些挑战，本文追求鲁棒、统一和信息丰富的场景表示，从不同类型的视觉输入中学习几何和语义，为自主学习理解周围世界的智能机器铺平道路。在此背景下，本文在视觉定位、像素点匹配和语义曲面重建领域做出了三个核心贡献。

在这篇论文中，我们从单幅图像开始估计6自由度(DoF)相机姿态。为了学习对环境变化和传感器操作具有鲁棒性的场景表示，提出了一种结合自注意模块的神经网络来建模复杂的几何关系，给定的图像相对于参考环境进行拍摄。然后，基于极线几何和立体视觉的内在约束，我们构建了一个更通用的框架，在二维图像和三维点云之间寻找统一的表示形式。通过引入超宽接收机制和新的损失函数，提出了一种双全卷积框架，将2D和3D输入映射到共享的潜表示空间中，以同时描述和检测关键点，弥合2D和3D表示之间的差距。最后，我们将我们的研究扩展到开发信息表示，这通常是智能系统在现实场景中同时用于多个目的的操作所需要的。在借鉴以往基于点的网络研究成果的基础上，我们引入了一种全新的端到端神经隐式函数，它可以联合估计原始和大规模点云的精确三维曲面和语义。

总体而言，本文开发了一系列新颖的深度神经框架，以推动场景表示的机器学习领域向能够完全感知现实世界3D环境的人工智能发展。