3D object detection plays a significant role in various robotic applications including self-driving. While many approaches rely on expensive 3D sensors like LiDAR to produce accurate 3D estimates, stereo-based methods have recently shown promising results at a lower cost. Existing methods tackle the problem in two steps: first depth estimation is performed, a pseudo LiDAR point cloud representation is computed from the depth estimates, and then object detection is performed in 3D space. However, because the two separate tasks are optimized in different metric spaces, the depth estimation is biased towards big objects and may cause sub-optimal performance of 3D detection. In this paper we propose a model that unifies these two tasks in the same metric space for the first time. Specifically, our model directly constructs a pseudo LiDAR feature volume (PLUME) in 3D space, which is used to solve both occupancy estimation and object detection tasks. PLUME achieves state-of-the-art performance on the challenging KITTI benchmark, with significantly reduced inference time compared with existing methods.


翻译:3D天体探测在包括自驾驶在内的各种机器人应用中起着重要作用。 虽然许多方法依赖LIDAR等昂贵的三维传感器来得出准确的三维估计值,但基于立体方法最近以较低的成本展示出令人乐观的结果。 现有方法分两步解决这个问题:首先进行深度估计,从深度估计中计算假的利DAR点云表,然后在3D空间进行物体探测。然而,由于两个不同的任务在不同计量空间中得到优化,深度估计偏向大物体,并可能导致三维探测的亚最佳性能。 在本文中,我们提出了一个模型,首次将这两项任务统一在同一计量空间。具体地说,我们的模型直接在3D空间建造了一个假的利DAR地物体量(PLUME),用于解决占用估计值和物体探测任务。 PLUME在具有挑战性能的KITTI基准上取得了最先进的性能,与现有方法相比,推论时间大大减少。

0
下载
关闭预览

相关内容

专知会员服务
109+阅读 · 2020年3月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
无人机视觉挑战赛 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
7+阅读 · 2019年5月5日
CVPR2019 | Stereo R-CNN 3D 目标检测
极市平台
27+阅读 · 2019年3月10日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【泡泡一分钟】3D物体的特征编码变种
泡泡机器人SLAM
4+阅读 · 2019年1月1日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
11+阅读 · 2018年3月15日
(TensorFlow)实时语义分割比较研究
机器学习研究会
9+阅读 · 2018年3月12日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Arxiv
1+阅读 · 2021年3月12日
Unknown Object Segmentation from Stereo Images
Arxiv
0+阅读 · 2021年3月11日
Arxiv
13+阅读 · 2021年3月3日
Arxiv
16+阅读 · 2021年3月2日
EfficientDet: Scalable and Efficient Object Detection
Arxiv
6+阅读 · 2019年11月20日
Arxiv
11+阅读 · 2019年1月24日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
Arxiv
5+阅读 · 2018年5月16日
VIP会员
相关VIP内容
相关资讯
无人机视觉挑战赛 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
7+阅读 · 2019年5月5日
CVPR2019 | Stereo R-CNN 3D 目标检测
极市平台
27+阅读 · 2019年3月10日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【泡泡一分钟】3D物体的特征编码变种
泡泡机器人SLAM
4+阅读 · 2019年1月1日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
11+阅读 · 2018年3月15日
(TensorFlow)实时语义分割比较研究
机器学习研究会
9+阅读 · 2018年3月12日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
相关论文
Arxiv
1+阅读 · 2021年3月12日
Unknown Object Segmentation from Stereo Images
Arxiv
0+阅读 · 2021年3月11日
Arxiv
13+阅读 · 2021年3月3日
Arxiv
16+阅读 · 2021年3月2日
EfficientDet: Scalable and Efficient Object Detection
Arxiv
6+阅读 · 2019年11月20日
Arxiv
11+阅读 · 2019年1月24日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
Arxiv
5+阅读 · 2018年5月16日
Top
微信扫码咨询专知VIP会员