【CMU博士论文】面向大规模和长期神经图表示，135页pdf

我们探讨了大规模和长期神经地图表示的问题。地图为现代机器人应用提供了宝贵的信息，例如自动驾驶和 AR/VR。在这篇论文中，我们探索了地图设计的两个重要角度：大小和丰富度。首先，我们研究了图像至激光雷达地图、激光雷达至激光雷达地图，以及图像至SfM地图注册的地图压缩问题。对于图像至激光雷达地图注册，我们提出了一种基于学习的技术，来在进行图像注册前预计算并压缩体素化的激光雷达地图。对于激光雷达至激光雷达地图注册，我们对现有基于深度学习和传统方法进行了地图压缩基准测试。对于图像至SfM地图注册，我们提出通过异构图神经网络从SfM地图中选择重要关键点。这三项工作的结果都显著减小了地图的大小，通过离线预处理减轻了在线图像注册的数据负担。其次，受到最近NeRF工作的有希望结果的启发，我们开发了一套激光雷达辅助的NeRF系统，该系统将户外环境的丰富外观和几何细节编码到基于点的神经表示中，并进行新颖的视图合成。与大多数之前主要集中在室内或小场景的NeRF工作不同，我们的系统是为更具挑战性的规范自动驾驶数据集（如Argoverse 2）而设计的，该数据集的训练视图更为稀疏，场景复杂性更大。我们使用了一个带有条件GAN的基于点的NeRF框架，并成功超越了最先进的户外NeRF基准。此外，我们还探索了户外NeRF的几个应用，包括数据增强、对象检测和季节性视图合成。我们的实验显示了在未来将神经表示应用于更实用的户外应用的可预见潜力。