EAO-SLAM:集成数据关联的单目半稠密物体级SLAM

2020 年 7 月 22 日 计算机视觉life

点击上方“计算机视觉life”,选择“星标”

快速获得最新干货

论文:EAO-SLAM: Monocular Semi-Dense Object SLAM Based on Ensemble Data Association

类别:单目半稠密Object SLAM

代码:基于ORB-SLAM2,待开源https://github.com/yanmin-wu/EAO-SLAM

摘要:物体级别(Object-level)数据关联和位姿估计在语义SLAM中有重要的作用,至今由于缺少鲁棒和精准的算法还没有解决。本篇论文工作提出一种集成数据关联策略来融合参数和非参数的统计检验,极大地提高数据关联的鲁棒性和精确度。除此之外该文章提出了可剔除外点的物体中心点、尺度估计和物体位姿初始化算法的物体位姿估计框架来提高估计的结果。基于以上,该论文提出了一个单目SLAM系统可以建立半稠密地图以及只有物体的轻量地图。经过在三个公开数据集上测试运行,该方法在精度和鲁棒性上极大地优于现有的方法。

解决的问题:

  1. 数据关联(使用带参数和无参数的统计检验一起关联数据)
  2. 物体建模(孤立森林和线来感知物体的位置,大小以及朝向角度)
  3. 地图表示(使用曲面椭圆和立方体建立物体地图 )

SLAM系统介绍

系统框架


绿色的语义线程输入图像,使用YOLOv3检测物体,为算法提供bounding box以及label。该论文的主要贡献用红色显示在跟踪线程中:本文提出的数据关联算法将bounding box,语义标签以及tracking过程中的三维点云作为输入,之后使用孤立森林清除outlier为优化找到精准的初始化。之后物体位姿,尺度以及相机位姿一起优化建立轻量的物体地图。最终,物体地图和半稠密地图一起可以得到半稠密语义地图。

数据关联

无参数检验如图3(a)所示,绿色点为物体点云,使用Wilcoxon Rank-Sum test判断两组点云分布是否一致确定一帧图两点云是否属于同一物体。通过物体的中心点,单样本T检验用于判断一帧上的点云是否属于之前观察到的某个物体,双样本的T检验判断观察到的两个物体是否需要合并。

Object SLAM

物体由带尺度 的椭圆和立方体表示,在slam中需要估计它们的平移 以及朝向 。假设物体平行地面放置,可减少椭圆和立方体需要估计的参数。分别使用孤立森林计算质心,尺度(文中算法1)以及物体位姿估计算法(文中算法2)计算角度 。该SLAM框架使用误差方程

来一起优化物体和相机位姿,其中 为角度误差, 为尺度误差(立方体投影线段和距离它最近的平行LSD Segment距离), 为传统SLAM的重投影误差。

结果

一下为该算法的结果,可以看出相比ORB-SLAM的稀疏地图,该算法更加稠密,相比稠密SLAM算法结果,该算法有输出语义物体地图,在TUM,MicroSoft RGB-D以及Scenes V2数据集上取得效果不错,在真实场景中一样可以得到以上结果,甚至被遮挡物体可以准确估计,验证了算法的鲁棒和准确性。

专辑:计算机视觉方向简介

专辑:视觉SLAM入门

专辑:最新SLAM/三维视觉论文/开源

专辑:三维视觉/SLAM公开课

专辑:深度相机原理及应用

专辑:手机双摄头技术解析与应用

专辑:相机标定

专辑:全景相机


从0到1学习SLAM,戳↓

视觉SLAM图文+视频+答疑+学习路线全规划!

交流群

欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~


投稿、合作也欢迎联系:simiter@126.com

长按关注计算机视觉life

登录查看更多
0

相关内容

【开放书】SLAM 中的几何与学习方法,62页pdf
专知会员服务
109+阅读 · 2020年6月5日
【CVPR2020-谷歌】多目标(车辆)跟踪与检测框架 RetinaTrack
专知会员服务
44+阅读 · 2020年4月10日
专知会员服务
86+阅读 · 2019年12月13日
【泡泡图灵智库】协同视觉-惯性SLAM
泡泡机器人SLAM
29+阅读 · 2019年9月6日
综述 | SLAM回环检测方法
计算机视觉life
15+阅读 · 2019年8月19日
【泡泡图灵智库】实时单目物体-模型感知稀疏SLAM(ICRA)
泡泡机器人SLAM
10+阅读 · 2019年7月12日
计算机视觉方向简介 | 视觉惯性里程计(VIO)
计算机视觉life
64+阅读 · 2019年6月16日
【泡泡图灵智库】面向无人机的高效双目SLAM
泡泡机器人SLAM
6+阅读 · 2019年5月31日
MaskFusion: 多运动目标实时识别、跟踪和重建
计算机视觉life
11+阅读 · 2019年4月20日
【泡泡机器人】也来谈语义SLAM/语义地图
泡泡机器人SLAM
21+阅读 · 2019年3月12日
Efficiently Embedding Dynamic Knowledge Graphs
Arxiv
14+阅读 · 2019年10月15日
Arxiv
12+阅读 · 2019年2月26日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
Structure Aware SLAM using Quadrics and Planes
Arxiv
4+阅读 · 2018年8月13日
Arxiv
4+阅读 · 2018年7月4日
VIP会员
相关资讯
【泡泡图灵智库】协同视觉-惯性SLAM
泡泡机器人SLAM
29+阅读 · 2019年9月6日
综述 | SLAM回环检测方法
计算机视觉life
15+阅读 · 2019年8月19日
【泡泡图灵智库】实时单目物体-模型感知稀疏SLAM(ICRA)
泡泡机器人SLAM
10+阅读 · 2019年7月12日
计算机视觉方向简介 | 视觉惯性里程计(VIO)
计算机视觉life
64+阅读 · 2019年6月16日
【泡泡图灵智库】面向无人机的高效双目SLAM
泡泡机器人SLAM
6+阅读 · 2019年5月31日
MaskFusion: 多运动目标实时识别、跟踪和重建
计算机视觉life
11+阅读 · 2019年4月20日
【泡泡机器人】也来谈语义SLAM/语义地图
泡泡机器人SLAM
21+阅读 · 2019年3月12日
Top
微信扫码咨询专知VIP会员