【泡泡一分钟】基于场景流传播的动态街道场景的语义建图和目标检测

2018 年 4 月 29 日 泡泡机器人SLAM 泡泡一分钟

每天一分钟,带你读遍机器人顶级会议文章

标题:Scene Flow Propagation for Semantic Mapping and Object Discovery in Dynamic Street Scenes

作者:Deyvid Kochanov, Aljoša Ošep, Jörg Stückler, and Bastian Leibe

来源:IEEE/RSJ International Conference on Intelligent Robots & Systems (IROS 2016)

播音员:清蒸鱼

编译:陈建华

欢迎个人转发朋友圈;其他机构或自媒体如需转载,后台留言申请授权

摘要

       大家好,今天为大家带来的文章是——基于场景流传播的动态街道场景的语义建图和目标检测,该文章发表于IROS2016。


       在动态城市街道场景中,场景理解是自主运行的车辆和机器人的重要先决条件。对于导航和高层次的行为规划,机器人不仅需要静态环境长期的三维模型,而且同样重要的是机器人需要对动态目标进行感知和跟踪。

图1 本文方法的示例效果图

       

       在本文中,作者提出了一种语义建图的方法。该方法增量式地将立体相机的每帧观测融合成时间一致的三维语义地图。与之前的工作相比,作者的方法使用场景流在地图中对动态目标进行传播,而且对于静态目标和动态目标都提供了长期的三维占据以及语义置信度,这就使得尽管单帧观测存在噪声与遮挡,本文也能够对目标进行高级推理。此外,作者还开发了一种基于地图上时间一致的形状、外观、运动和语义等线索来检测目标的方法。

图2 三维语义建图的系统框架

图3 多帧信息融合与地图更新


       最后,作者在KITTI数据集上对本文提出的动态语义建图和目标检测方法进行了测试与评价,测试结果表明相比于单帧方法,本文方法取到了一定的改进。

图4 KITTI数据集下本文的语义建图与目标检测效果图

图5 本文方法与其他主流方法的目标检测结果对比

Abstract

   Scene understanding is an important prerequisite for vehicles and robots that operate autonomously in dynamic urban street scenes. For navigation and high-level behavior planning, the robots not only require a persistent 3D model of the static surroundings—equally important, they need to perceive and keep track of dynamic objects. In this paper, we propose a method that incrementally fuses stereo frame observations into temporally consistent semantic 3D maps. In contrast to previous work, our approach uses scene flow to propagate dynamic objects within the map. Our method provides a persistent 3D occupancy as well as semantic belief on static as well as moving objects. This allows for advanced reasoning on objects despite noisy single-frame observations and occlusions. We develop a novel approach to discover object instances based on the temporally consistent shape, appearance, motion, and semantic cues in our maps. We evaluate our approaches to dynamic semantic mapping and object discovery on the popular KITTI benchmark and demonstrate improved results compared to single-frame methods.



如果你对本文感兴趣,想要下载完整文章进行阅读,可以关注【泡泡机器人SLAM】公众号


点击阅读原文,即可获取本文下载链接。

欢迎来到泡泡论坛,这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题,或者想刷帖回答问题,泡泡论坛欢迎你!

泡泡网站:www.paopaorobot.org

泡泡论坛:http://paopaorobot.org/forums/


泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成,希望大家珍惜我们的劳动成果,转载请务必注明出自【泡泡机器人SLAM】微信公众号,否则侵权必究!同时,我们也欢迎各位转载到自己的朋友圈,让更多的人能进入到SLAM这个领域中,让我们共同为推进中国的SLAM事业而努力!

商业合作及转载请联系liufuqiang_robot@hotmail.com

登录查看更多
8

相关内容

目标检测,也叫目标提取,是一种与计算机视觉和图像处理有关的计算机技术,用于检测数字图像和视频中特定类别的语义对象(例如人,建筑物或汽车)的实例。深入研究的对象检测领域包括面部检测和行人检测。 对象检测在计算机视觉的许多领域都有应用,包括图像检索和视频监视。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
基于深度学习的表面缺陷检测方法综述
专知会员服务
93+阅读 · 2020年5月31日
基于视觉的三维重建关键技术研究综述
专知会员服务
160+阅读 · 2020年5月1日
3D目标检测进展综述
专知会员服务
191+阅读 · 2020年4月24日
CVPR2020 | 商汤-港中文等提出PV-RCNN:3D目标检测新网络
专知会员服务
43+阅读 · 2020年4月17日
【泡泡一分钟】基于表面的自主三维建模探索
泡泡机器人SLAM
9+阅读 · 2019年9月10日
【泡泡图灵智库】体积实例感知语义建图与3D对象发现
泡泡机器人SLAM
22+阅读 · 2019年9月7日
【泡泡一分钟】DS-SLAM: 动态环境下的语义视觉SLAM
泡泡机器人SLAM
23+阅读 · 2019年1月18日
【泡泡一分钟】动态环境下稳健的单目SLAM
泡泡机器人SLAM
13+阅读 · 2018年3月22日
Structure Aware SLAM using Quadrics and Planes
Arxiv
4+阅读 · 2018年8月13日
Two Stream 3D Semantic Scene Completion
Arxiv
4+阅读 · 2018年7月16日
Arxiv
6+阅读 · 2018年3月29日
Arxiv
6+阅读 · 2018年2月8日
VIP会员
Top
微信扫码咨询专知VIP会员