In this paper we present CMRNet, a realtime approach based on a Convolutional Neural Network to localize an RGB image of a scene in a map built from LiDAR data. Our network is not trained in the working area, i.e. CMRNet does not learn the map. Instead it learns to match an image to the map. We validate our approach on the KITTI dataset, processing each frame independently without any tracking procedure. CMRNet achieves 0.27m and 1.07deg median localization accuracy on the sequence 00 of the odometry dataset, starting from a rough pose estimate displaced up to 3.5m and 17deg. To the best of our knowledge this is the first CNN-based approach that learns to match images from a monocular camera to a given, preexisting 3D LiDAR-map.


翻译:在本文中,我们介绍CMRNet,这是基于一个革命神经网络的一种实时方法,目的是在根据LiDAR数据绘制的地图上将一个场景的 RGB 图像本地化。我们的网络没有在工作领域接受培训,即CMRNet没有学习地图。相反,它学会了将图像与地图匹配。我们验证了我们在KITTI数据集上的做法,在没有任何跟踪程序的情况下独立处理每个框架。CMRNet在Odology数据集的00序列上实现了0.27m和1.07deg 中位本地化精度。从粗的表面估计到3.5m和17deg。我们最了解的是,这是以CNN为基础的第一种方法,它学会将图像从一个单镜相机到一个给定的、先前存在的3DLDAR-map相匹配。

0
下载
关闭预览

相关内容

专知会员服务
20+阅读 · 2021年7月28日
MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
17+阅读 · 2021年5月3日
专知会员服务
69+阅读 · 2021年1月16日
3D目标检测进展综述
专知会员服务
191+阅读 · 2020年4月24日
【新书】Python编程基础,669页pdf
专知会员服务
194+阅读 · 2019年10月10日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
【泡泡一分钟】基于运动估计的激光雷达和相机标定方法
泡泡机器人SLAM
25+阅读 · 2019年1月17日
【泡泡一分钟】基于3D激光雷达地图的立体相机定位
泡泡机器人SLAM
4+阅读 · 2019年1月14日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
我用MATLAB撸了一个2D LiDAR SLAM
计算机视觉life
4+阅读 · 2018年12月2日
Arxiv
0+阅读 · 2021年9月9日
DPOD: Dense 6D Pose Object Detector in RGB images
Arxiv
5+阅读 · 2019年2月28日
VIP会员
相关资讯
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
【泡泡一分钟】基于运动估计的激光雷达和相机标定方法
泡泡机器人SLAM
25+阅读 · 2019年1月17日
【泡泡一分钟】基于3D激光雷达地图的立体相机定位
泡泡机器人SLAM
4+阅读 · 2019年1月14日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
我用MATLAB撸了一个2D LiDAR SLAM
计算机视觉life
4+阅读 · 2018年12月2日
Top
微信扫码咨询专知VIP会员