Self-driving cars and other autonomous vehicles need to detect and track objects in camera images. We present a simple online tracking algorithm that is based on a constant velocity motion model with a Kalman filter, and an assignment heuristic. The assignment heuristic relies on four metrics: An embedding vector that describes the appearance of objects and can be used to re-identify them, a displacement vector that describes the object movement between two consecutive video frames, the Mahalanobis distance between the Kalman filter states and the new detections, and a class distance. These metrics are combined with a linear SVM, and then the assignment problem is solved by the Hungarian algorithm. We also propose an efficient CNN architecture that estimates these metrics. Our multi-frame model accepts two consecutive video frames which are processed individually in the backbone, and then optical flow is estimated on the resulting feature maps. This allows the network heads to estimate the displacement vectors. We evaluate our approach on the challenging BDD100K tracking dataset. Our multi-frame model achieves a good MOTA value of 39.1% with low localization error of 0.206 in MOTP. Our fast single-frame model achieves an even lower localization error of 0.202 in MOTP, and a MOTA value of 36.8%.


翻译:自驾驶汽车和其他自主飞行器需要用摄像图像探测和跟踪天体。 我们展示了一个简单的在线跟踪算法, 以使用卡尔曼过滤器的恒定速度运动模型为基础, 以及一个任务超常。 任务超常依赖四度 : 嵌入矢量, 描述天体的外观, 并可用于重新识别天体, 描述两个连续的视频框之间的天体移动, 马哈拉诺比斯在卡尔曼过滤器状态和新检测之间的距离, 以及一个阶级距离。 这些度量与线性 SVM 相结合, 然后通过匈牙利算法解决任务问题。 我们还提出了一个高效的CNN结构, 用于估算这些天体。 我们的多框架模型接受两个连续的视频框, 描述天体外物体的外观, 然后根据生成的地貌图来估计光流。 我们的网络头可以对具有挑战性的 BDD100K 跟踪数据集的方法进行评估。 我们的多框架模型取得了39.1% 的MOTA值是好的, 在MOTP中, 0. 0. 0. 0. 0. 0. 0. 8 和 MTA 的 的 快速一框架 模型, 的 的 的 10 10 的 的 10- 1 的 的 的 模型的 的 的 的 的 的 的 的 0. 1 0. 1 0. 1 值 的 的 的 0. 1 0. 1 0. 1 0. 1 0. 1 的 的 的 0. 1 0. 1 0. 1 0. 1 0. 1 0. 1 0. 1 的 0. 1 0. 1 的 0. 1 0. 1 0. 1 0. 1 的 的 的 的 0. 1 的 0. 1 0. 1 的 的 的 的 的 的 的 的 的 的 的 0. 1 的 的 0. 1 0. 1 0. 1 的 的 0. 1 0. 1 0. 1 的 0. 1 的 0. 1 的 的 的 的 的 的 的 的 的 的 0. 1 0. 1 的 的 0. 1 0. 1 0. 1 0. 1 的 0. 1 的

0
下载
关闭预览

相关内容

专知会员服务
53+阅读 · 2020年3月16日
八篇 ICCV 2019 【图神经网络(GNN)+CV】相关论文
专知会员服务
29+阅读 · 2020年1月10日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【泡泡前沿追踪】跟踪SLAM前沿动态系列之IROS2018
泡泡机器人SLAM
29+阅读 · 2018年10月28日
【跟踪Tracking】15篇论文+代码 | 中秋快乐~
专知
18+阅读 · 2018年9月24日
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Soft-NMS – Improving Object Detection With One Line of Code
统计学习与视觉计算组
6+阅读 · 2018年3月30日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
11+阅读 · 2018年3月15日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
Arxiv
7+阅读 · 2017年12月26日
VIP会员
相关VIP内容
专知会员服务
53+阅读 · 2020年3月16日
八篇 ICCV 2019 【图神经网络(GNN)+CV】相关论文
专知会员服务
29+阅读 · 2020年1月10日
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【泡泡前沿追踪】跟踪SLAM前沿动态系列之IROS2018
泡泡机器人SLAM
29+阅读 · 2018年10月28日
【跟踪Tracking】15篇论文+代码 | 中秋快乐~
专知
18+阅读 · 2018年9月24日
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Soft-NMS – Improving Object Detection With One Line of Code
统计学习与视觉计算组
6+阅读 · 2018年3月30日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
11+阅读 · 2018年3月15日
Top
微信扫码咨询专知VIP会员