Fusion++| 体素物体级SLAM

2020 年 12 月 2 日 计算机视觉life

点击上方“计算机视觉life”,选择“星标”

快速获得最新干货

本文转自江佩视觉LAB

标题:Fusion++: Volumetric Object-Level SLAM

作者:John Mccormac; Ronald Clark; Michael Bloesch; Andrew Davison; Stefan Leutenegger

来源:2018 International Conference on 3D Vision (3DV)

编译:wyc

摘要

我们提出了一个在线的对象级SLAM系统,它可以建立一个持久的、精确的任意重建对象的三维图形地图。当一台RGB-D相机浏览一个杂乱的室内场景时,利用MASK RCNN实例分段初始化每个对象的压缩截断有符号距离函数(TSDF)重构,该重构具有与对象大小相关的分辨率和一个新的3D前景蒙版。重建对象存储在一个优化的6自由度姿态图,这是我们唯一的持久地图表示。对象通过深度融合逐步细化,并用于跟踪、重新定位和循环关闭检测。循环关闭会导致对象实例的相对姿态估计发生调整,但不会导致对象内部扭曲。每个对象还携带语义信息,这些信息会随着时间的推移而被细化,并且存在的概率会解释虚假的实例预测。

我们在一个手持的RGB-D序列上演示了我们的方法,该序列来自一个杂乱无章的办公室场景,其中包含大量和多种对象实例,强调了系统如何关闭循环,以及如何在重复循环中充分利用现有对象。我们根据rgbd slam基准上的基线方法定量评估系统的轨迹误差,并定性比较ycb视频数据集上发现物体的重建质量。性能评估表明,我们的方法具有很高的内存效率,并且在4-8Hz(不包括重新定位)下在线运行,尽管在软件级别没有进行优化。

贡献

1.一个通用的面向对象的SLAM系统,它将映射作为可变分辨率的3D实例重建。

2.每帧实例检测使用体素前景遮罩进行牢固融合,丢失的检测使用“存在”概率进行解释。

3.我们在全局一致的循环闭合对象SLAM图中显示了高质量的对象重建。

方法

我们已经在真实、杂乱的室内场景中显示了许多以前未知形状的对象的一致实例映射和分类。我们的在线和近实时系统是由基于图像的实例分割、TSDF融合和跟踪以及姿势图优化模块构建的,它可以制作一个长期的地图,重点关注具有可变对象大小相关分辨率的场景中最重要的对象元素。从rgb-d输入,粗背景tsdf初始化为本地跟踪和闭塞处理。如果姿态变化足够大或系统丢失,则执行重新定位和图形优化以到达新的摄像机位置,粗TSDF复位。在单独的线程中,rgb帧由mask r-cnn处理,检测被过滤并与现有地图匹配。

当没有匹配发生时,新的TSDF对象实例被创建、调整大小并添加到地图中,以进行本地跟踪、全局图优化和重新定位。在未来的帧中,相关的前景检测与语义和存在概率一起融合到对象的3D“前景”蒙版中。是否属于同一个体判别重定位分析在办公室数据集上轨迹追踪效果

实验

1.重建质量2.GPU内存变化

图6 融合效果

3.系统运行状况

图7 系统运行状态

从0到1学习SLAM,戳↓

学习SLAM的小伙伴,那些年有没有哭晕在厕所?


专辑:计算机视觉方向简介

专辑:视觉SLAM入门

专辑:最新SLAM/三维视觉论文/开源

专辑:三维视觉/SLAM公开课

专辑:深度相机原理及应用

专辑:手机双摄头技术解析与应用

专辑:相机标定

专辑:全景相机

交流群

欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~

投稿、合作也欢迎联系:simiter@126.com

扫描关注视频号,看最新技术落地及开源方案视频秀 ↓


登录查看更多
2

相关内容

即时定位与地图构建(SLAM或Simultaneouslocalizationandmapping)是这样一种技术:使得机器人和自动驾驶汽车等设备能在未知环境(没有先验知识的前提下)建立地图,或者在已知环境(已给出该地图的先验知识)中能更新地图,并保证这些设备能在同时追踪它们的当前位置。
专知会员服务
43+阅读 · 2021年1月31日
专知会员服务
47+阅读 · 2020年12月28日
专知会员服务
44+阅读 · 2020年12月20日
【CVPR2020-百度】用于视觉识别的门控信道变换
专知会员服务
12+阅读 · 2020年3月30日
专知会员服务
84+阅读 · 2019年12月13日
【泡泡点云时空】基于分割方法的物体六维姿态估计
泡泡机器人SLAM
18+阅读 · 2019年9月15日
【泡泡一分钟】视觉SLAM为什么需要光束平差法
泡泡机器人SLAM
10+阅读 · 2019年9月12日
【泡泡图灵智库】体积实例感知语义建图与3D对象发现
泡泡机器人SLAM
22+阅读 · 2019年9月7日
【泡泡图灵智库】实时单目物体-模型感知稀疏SLAM(ICRA)
泡泡机器人SLAM
10+阅读 · 2019年7月12日
【泡泡一分钟】变化环境下激光地图辅助视觉惯性定位
泡泡机器人SLAM
15+阅读 · 2019年5月22日
【泡泡图灵智库】基于几何一致性网络的摄像机运动估计
Dynamic list coloring of 1-planar graphs
Arxiv
0+阅读 · 2021年1月28日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
Structure Aware SLAM using Quadrics and Planes
Arxiv
4+阅读 · 2018年8月13日
VIP会员
相关资讯
【泡泡点云时空】基于分割方法的物体六维姿态估计
泡泡机器人SLAM
18+阅读 · 2019年9月15日
【泡泡一分钟】视觉SLAM为什么需要光束平差法
泡泡机器人SLAM
10+阅读 · 2019年9月12日
【泡泡图灵智库】体积实例感知语义建图与3D对象发现
泡泡机器人SLAM
22+阅读 · 2019年9月7日
【泡泡图灵智库】实时单目物体-模型感知稀疏SLAM(ICRA)
泡泡机器人SLAM
10+阅读 · 2019年7月12日
【泡泡一分钟】变化环境下激光地图辅助视觉惯性定位
泡泡机器人SLAM
15+阅读 · 2019年5月22日
【泡泡图灵智库】基于几何一致性网络的摄像机运动估计
Top
微信扫码咨询专知VIP会员