Recent multi-camera 3D object detectors usually leverage temporal information to construct multi-view stereo that alleviates the ill-posed depth estimation. However, they typically assume all the objects are static and directly aggregate features across frames. This work begins with a theoretical and empirical analysis to reveal that ignoring the motion of moving objects can result in serious localization bias. Therefore, we propose to model Dynamic Objects in RecurrenT (DORT) to tackle this problem. In contrast to previous global Bird-Eye-View (BEV) methods, DORT extracts object-wise local volumes for motion estimation that also alleviates the heavy computational burden. By iteratively refining the estimated object motion and location, the preceding features can be precisely aggregated to the current frame to mitigate the aforementioned adverse effects. The simple framework has two significant appealing properties. It is flexible and practical that can be plugged into most camera-based 3D object detectors. As there are predictions of object motion in the loop, it can easily track objects across frames according to their nearest center distances. Without bells and whistles, DORT outperforms all the previous methods on the nuScenes detection and tracking benchmarks with 62.5\% NDS and 57.6\% AMOTA, respectively. The source code will be released.


翻译:最近的多摄像机 3D 目标检测器通常利用时间信息构建多视图立体,以缓解不良的深度估计。然而,它们通常假设所有物体都是静止的,并直接跨帧聚合特征。本文通过理论和实验证明忽略移动物体的运动可能导致严重的定位偏差。因此,我们提出了一种建模循环动态物体(DORT)的方法来解决这个问题。与先前的全局鸟瞰图(BEV)方法不同,DORT提取基于物体的局部体积用于运动估计,这还缓解了重负载的计算负担。通过迭代精炼估计的物体运动和位置,可以将前面的特征精确聚合到当前框以减轻上述不良影响。这个简单的框架具有两个重要的吸引力。它是灵活实用的,可以插入到大多数基于相机的 3D 目标检测器中。由于回路中有对物体运动的预测,因此它可以根据它们的最近中心距离轻松追踪物体。 DORT 不需要花哨的额外设计,在 nuScenes 的检测和跟踪基准测试中性能优于所有先前的方法,分别是 62.5\% NDS 和 57.6\% AMOTA。源代码将会发布。

0
下载
关闭预览

相关内容

浙大《深度学习低样本目标检测》综述论文
专知会员服务
73+阅读 · 2021年12月13日
【泡泡图灵智库】Detect-SLAM:目标检测和SLAM相互收益
泡泡机器人SLAM
13+阅读 · 2019年6月28日
CVPR2019 | Stereo R-CNN 3D 目标检测
极市平台
27+阅读 · 2019年3月10日
【泡泡一分钟】DS-SLAM: 动态环境下的语义视觉SLAM
泡泡机器人SLAM
23+阅读 · 2019年1月18日
【泡泡前沿追踪】跟踪SLAM前沿动态系列之IROS2018
泡泡机器人SLAM
29+阅读 · 2018年10月28日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
27+阅读 · 2020年12月24日
Arxiv
12+阅读 · 2019年4月9日
Arxiv
11+阅读 · 2019年1月24日
VIP会员
相关VIP内容
浙大《深度学习低样本目标检测》综述论文
专知会员服务
73+阅读 · 2021年12月13日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员