【CMU博士论文】水下三维视觉感知与生成

随着现代机器人技术的发展，海底影像对研究人员和公众变得更加易得。本论文利用深度学习和三维视觉技术，从机器人平台采集的海底图像观测中提取有价值的信息。 尽管深度学习和三维视觉算法已在多个领域得到广泛应用，但水下成像面临独特挑战，如缺乏标注、颜色失真和光照不一致等问题，这些因素限制了现成算法的有效性。本论文聚焦于一个核心问题：如何在受到光源和介质干扰严重影响的情况下，从原始水下图像构建三维表征。为实现光真实感的海底三维重建，本文提出并开发了以下算法： (i) 基于循环三维高斯泼溅（recurrent 3D Gaussian Splatting）的无监督水下焦散（caustic）去除方法； (ii) 基于神经反射场（neural reflectance fields）的深水真彩恢复； (iii) 面向机器人平台的相机-光源联合标定方法； (iv) 基于三维高斯泼溅的暗环境重光照方法。 借助机器人收集的大规模海底数据作为训练集，本论文进一步探索了深度生成模型在生成大尺度、具有自然空间变化的水下地形方面的应用。合成的地形可以与所学习的水下光照效应相结合，从而实现逼真的新视角渲染效果。 本文展示了如何将三维计算机视觉与深度生成模型结合物理规律、统计原理以及基础模型，来应对水下机器人感知中的独特挑战。这些研究成果共同奠定了重建高保真水下场景的基础，有助于人类更好地理解海底生态系统，并生成模拟环境，从而缩小水下机器人感知中的“仿真到真实（sim-to-real）”差距。