We propose a novel multi-task learning system that combines appearance and motion cues for a better semantic reasoning of the environment. A unified architecture for joint vehicle detection and motion segmentation is introduced. In this architecture, a two-stream encoder is shared among both tasks. In order to evaluate our method in autonomous driving setting, KITTI annotated sequences with detection and odometry ground truth are used to automatically generate static/dynamic annotations on the vehicles. This dataset is called KITTI Moving Object Detection dataset (KITTI MOD). The dataset will be made publicly available to act as a benchmark for the motion detection task. Our experiments show that the proposed method outperforms state of the art methods that utilize motion cue only with 21.5% in mAP on KITTI MOD. Our method performs on par with the state of the art unsupervised methods on DAVIS benchmark for generic object segmentation. One of our interesting conclusions is that joint training of motion segmentation and vehicle detection benefits motion segmentation. Motion segmentation has relatively fewer data, unlike the detection task. However, the shared fusion encoder benefits from joint training to learn a generalized representation. The proposed method runs in 120 ms per frame, which beats the state of the art motion detection/segmentation in computational efficiency.


翻译:我们提出一个新的多任务学习系统,将外观和运动提示结合起来,以更好地对环境进行语义推理。引入了车辆探测和运动分离的统一结构。在这个结构中,两个任务之间共享一个双流编码器。为了评估我们在自主驾驶环境中的方法,KITTI使用一个带有探测和观察测量地面真理的附加说明序列,自动生成车辆静态/动态说明。这个数据集称为KITTI移动物体探测数据集(KITTI MOD)。数据集将公开提供,作为运动探测任务的基准。我们的实验显示,拟议方法优于艺术方法状态,仅使用运动提示21.5%的MAP在KITTI MOD上。我们的方法与DAVIS通用物体分解基准上不受监督的先进方法相同。我们的一个有趣的结论是,运动分解和车辆探测探测数据集的联合培训有利于运动分解。与探测任务不同,运动分解将数据相对较少。但是,拟议的方法优于通用计算方法的通用计算方法,在120级计算中学习了通用计算方法。

0
下载
关闭预览

相关内容

干货 | 视频显著性目标检测(文末附有完整源码)
计算机视觉战队
38+阅读 · 2019年9月3日
无人机视觉挑战赛 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
7+阅读 · 2019年5月5日
人脸专集3 | 人脸关键点检测(下)—文末源码
计算机视觉战队
19+阅读 · 2019年4月8日
【泡泡一分钟】LIMO:激光和单目相机融合的视觉里程计
泡泡机器人SLAM
11+阅读 · 2019年1月16日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【泡泡前沿追踪】跟踪SLAM前沿动态系列之IROS2018
泡泡机器人SLAM
29+阅读 · 2018年10月28日
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
Arxiv
12+阅读 · 2019年1月24日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
VIP会员
相关VIP内容
Top
微信扫码咨询专知VIP会员