【泡泡一分钟】SqueezeSeg:用于3D激光雷达点云中道路物体实时分割、具有递归CRF的卷积神经网络

2019 年 7 月 3 日 泡泡机器人SLAM
【泡泡一分钟】SqueezeSeg:用于3D激光雷达点云中道路物体实时分割、具有递归CRF的卷积神经网络
 

每天一分钟,带你读遍机器人顶级会议文章

标题:SqueezeSeg: Convolutional Neural Nets with Recurrent CRF for Real-Time Road-Object Segmentation from 3D LiDAR Point Cloud

作者:Bichen Wu, Alvin Wan, Xiangyu Yue and Kurt Keutzer

来源:IEEE International Conference on Robotics and Automation (ICRA),2018

编译:曹利浩

审核:颜青松,陈世浪

欢迎个人转发朋友圈;其他机构或自媒体如需转载,后台留言申请授权

摘要

本文讨论了3D激光雷达点云中道路上物体的语义分割。尤其是希望检测和分类出感兴趣物体实例,例如汽车、行人和骑自行车的人。我们把这个问题表述为一个逐点分类问题,并且基于卷积神经网络(Convolutional Neural Networks, CNN)提出一个端到端的算法——SqueezeSeg:该CNN网络以变换后的点云作为输入,直接输出一个逐点标记的地图,然后使用作为RNN层的CRF(Conditional random field)改善该地图。最后使用传统的聚类算法获得实例级的标记。我们的CNN模型使用KITTI数据集中的激光雷达点云数据训练,分割需要的每个点的标签根据KITTI数据集中的3D边界框制作。为了获得额外的训练数据,我们在流行的视频游戏“Grand Theft Auto V(GTA-V)”中构建了一个激光雷达模拟器,以合成大量逼真的训练数据。实验结果表明,SqueezeSeg精度高,并且具有快速的和稳定的运行时间(每帧8.7±0.5ms),非常适合自动驾驶应用。另外,使用合成数据的额外训练提升了SqueezeSeg对真实世界数据的验证准确性。

源码地址:https://github.com/BichenWuUCB/SqueezeSeg

介绍和演示视频地址:https://youtu.be/Xyn5Zd3lm6s


网络结构:


分割结果示例:


精度:


实时性:


                           Abstract

We address semantic segmentation of road-objectsfrom 3D LiDAR point clouds. In particular, we wish to detectand categorize instances of interest, such as cars, pedestriansand cyclists. We formulate this problem as a point-wise clas-sification problem, and propose an end-to-end pipeline calledSqueezeSeg based on convolutional neural networks (CNN):the CNN takes a transformed LiDAR point cloud as input anddirectly outputs a point-wise label map, which is then refined bya conditional random field (CRF) implemented as a recurrentlayer. Instance-level labels are then obtained by conventionalclustering algorithms. Our CNN model is trained on LiDARpoint clouds from the KITTI [1] dataset, and our point-wisesegmentation labels are derived from 3D bounding boxes fromKITTI. To obtain extra training data, we built a LiDARsimulator intoGrand  Theft  Auto  V  (GTA-V), a popular videogame, to synthesize large amounts of realistic training data.Our experiments show that SqueezeSeg achieves high accuracywith astonishingly fast and stable runtime (8.7±0.5ms perframe), highly desirable for autonomous driving. Furthermore,additionally training on synthesized data boosts validationaccuracy on real-world data. Our source code is open-sourcereleased. The paper is accompanied by a video containing ahigh level introduction and demonstrations of this work.


如果你对本文感兴趣,请点击点击阅读原文下载完整文章,如想查看更多文章请关注【泡泡机器人SLAM】公众号(paopaorobot_slam)

百度网盘提取码:ltt3

欢迎来到泡泡论坛,这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题,或者想刷帖回答问题,泡泡论坛欢迎你!

泡泡网站:www.paopaorobot.org

泡泡论坛:http://paopaorobot.org/bbs/


泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成,希望大家珍惜我们的劳动成果,转载请务必注明出自【泡泡机器人SLAM】微信公众号,否则侵权必究!同时,我们也欢迎各位转载到自己的朋友圈,让更多的人能进入到SLAM这个领域中,让我们共同为推进中国的SLAM事业而努力!

商业合作及转载请联系liufuqiang_robot@hotmail.com

登录查看更多
5

相关内容

条件随机域(场)(conditional random fields,简称 CRF,或CRFs),是一种判别式概率模型,是随机场的一种,常用于标注或分析序列资料,如自然语言文字或是生物序列。 如同马尔可夫随机场,条件随机场为具有无向的图模型,图中的顶点代表随机变量,顶点间的连线代表随机变量间的相依关系,在条件随机场中,随机变量 Y 的分布为条件机率,给定的观察值则为随机变量 X。原则上,条件随机场的图模型布局是可以任意给定的,一般常用的布局是链结式的架构,链结式架构不论在训练(training)、推论(inference)、或是解码(decoding)上,都存在效率较高的算法可供演算。
小贴士
相关VIP内容
专知会员服务
18+阅读 · 2020年5月25日
专知会员服务
26+阅读 · 2020年4月24日
专知会员服务
35+阅读 · 2020年2月20日
相关论文
Monocular Plan View Networks for Autonomous Driving
Dequan Wang,Coline Devin,Qi-Zhi Cai,Philipp Krähenbühl,Trevor Darrell
5+阅读 · 2019年5月16日
Jesus Zarzar,Silvio Giancola,Bernard Ghanem
3+阅读 · 2019年3月25日
Learning to Estimate Pose and Shape of Hand-Held Objects from RGB Images
Mia Kokic,Danica Kragic,Jeannette Bohg
4+阅读 · 2019年3月8日
3D Hand Shape and Pose Estimation from a Single RGB Image
Liuhao Ge,Zhou Ren,Yuncheng Li,Zehao Xue,Yingying Wang,Jianfei Cai,Junsong Yuan
15+阅读 · 2019年3月3日
Single-Image Piece-wise Planar 3D Reconstruction via Associative Embedding
Zehao Yu,Jia Zheng,Dongze Lian,Zihan Zhou,Shenghua Gao
7+阅读 · 2019年2月26日
Wenhui Zhang,Tejas Mahale
3+阅读 · 2018年12月13日
Shaoshuai Shi,Xiaogang Wang,Hongsheng Li
6+阅读 · 2018年12月11日
Marvin T. T. Teichmann,Roberto Cipolla
7+阅读 · 2018年5月15日
Martin Simon,Stefan Milz,Karl Amende,Horst-Michael Gross
3+阅读 · 2018年3月16日
Yangyan Li,Rui Bu,Mingchao Sun,Baoquan Chen
8+阅读 · 2018年1月25日
Top