自监督式VO方法在视频中联合估计摄像机姿态和深度方面取得了很大的成功。然而,与大多数数据驱动的方法一样,现有的VO网络在面对与训练数据不同的场景时,性能显著下降,不适合实际应用。在本文中,我们提出了一种在线元学习算法,使VO网络能够以一种自监督的方式不断适应新的环境。该方法利用卷积长短时记忆(convLSTM)来聚合过去的丰富时空信息。网络能够记忆和学习过去的经验,以便更好地估计和快速适应当前帧。在开放环境中运行VO时,为了应对环境的变化,我们提出了一种在线的特征对齐方法,即在不同的时刻对特征分布进行对齐。我们的VO网络能够无缝地适应不同的环境。在看不见的户外场景、虚拟到真实世界和户外到室内环境的大量实验表明,我们的方法始终比最先进的自监督的VO基线性能更好。
https://arxiv.org/pdf/2005.06136.pdf
专知便捷查看
便捷下载,请关注专知公众号(点击上方蓝色专知关注)
后台回复“SDV” 可以获取《自监督的深度视觉测程与在线适应,Self-Supervised Deep Visual Odometry》专知下载链接索引