In this paper, we investigate visual-based camera re-localization with neural networks for robotics and autonomous vehicles applications. Our solution is a CNN-based algorithm which predicts camera pose (3D translation and 3D rotation) directly from a single image. It also provides an uncertainty estimate of the pose. Pose and uncertainty are learned together with a single loss function and are fused at test time with an EKF. Furthermore, we propose a new fully convolutional architecture, named CoordiNet, designed to embed some of the scene geometry. Our framework outperforms comparable methods on the largest available benchmark, the Oxford RobotCar dataset, with an average error of 8 meters where previous best was 19 meters. We have also investigated the performance of our method on large scenes for real time (18 fps) vehicle localization. In this setup, structure-based methods require a large database, and we show that our proposal is a reliable alternative, achieving 29cm median error in a 1.9km loop in a busy urban area


翻译:在本文中,我们通过机器人和自主飞行器应用的神经网络,对基于视觉的相机重新定位进行调查。我们的解决方案是以CNN为基础的算法,该算法预测相机直接由单一图像(3D翻译和3D旋转)产生(3D翻译和3D旋转),还提供对构成的不确定性估计。通过单一损失功能来了解波形和不确定性,并在测试时与EKF结合。此外,我们提出了一个新的完整的全革命结构,名为CoordiNet,旨在嵌入一些场景几何学。我们的框架比现有最大基准,牛津机器人汽车数据集的可比方法要快得多,平均误差8米,以前最好的是19米。我们还调查了我们的方法在大场上的性能,实际时间(18英尺)车辆定位。在这个设置中,基于结构的方法需要一个大型数据库。我们还表明,我们的提议是一个可靠的备选方案,在繁忙的城市地区的1.9公里环中达到29厘米的中位误差。

0
下载
关闭预览

相关内容

损失函数,在AI中亦称呼距离函数,度量函数。此处的距离代表的是抽象性的,代表真实数据与预测数据之间的误差。损失函数(loss function)是用来估量你模型的预测值f(x)与真实值Y的不一致程度,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好。损失函数是经验风险函数的核心部分,也是结构风险函数重要组成部分。
MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
17+阅读 · 2021年5月3日
【CVPR2021】自监督几何感知
专知会员服务
45+阅读 · 2021年3月6日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
1+阅读 · 2021年12月1日
Arxiv
8+阅读 · 2021年7月15日
VIP会员
Top
微信扫码咨询专知VIP会员