Three-dimensional (3D) object detection is essential in autonomous driving. There are observations that multi-modality methods based on both point cloud and imagery features perform only marginally better or sometimes worse than approaches that solely use single-modality point cloud. This paper investigates the reason behind this counter-intuitive phenomenon through a careful comparison between augmentation techniques used by single modality and multi-modality methods. We found that existing augmentations practiced in single-modality detection are equally useful for multi-modality detection. Then we further present a new multi-modality augmentation approach, Multi-mOdality Cut and pAste (MoCa). MoCa boosts detection performance by cutting point cloud and imagery patches of ground-truth objects and pasting them into different scenes in a consistent manner while avoiding collision between objects. We also explore beneficial architecture design and optimization practices in implementing a good multi-modality detector. Without using ensemble of detectors, our multi-modality detector achieves new state-of-the-art performance on nuScenes dataset and competitive performance on KITTI 3D benchmark. Our method also wins the best PKL award in the 3rd nuScenes detection challenge. Code and models will be released at https://github.com/open-mmlab/mmdetection3d.


翻译:三维(3D)天体探测在自主驱动中至关重要。 有观测显示,基于点云和图像特征的多模式方法只使用单一时态云云,其效果比仅仅使用单一时态云的多模式方法更好,有时甚至更差。本文通过仔细比较单一模式和多模式方法使用的增强技术,调查反直觉现象背后的原因。我们发现,在单一时态探测中采用的现有增强方法对多模式检测同样有用。然后我们进一步提出新的多模式增强方法,即多模式断层和pAste(MoCa)。 MoCa通过切割点云和地面光标的图像补丁来提高探测性能,并以一致的方式将其粘贴在不同场面上,同时避免物体之间的碰撞。我们还探索在采用良好的多模式检测器方面采用有益的结构设计和优化做法。我们多模式检测器的多模式检测器不使用检测器,我们的多模式检测器在nuScenes数据设置和 pAST-S 3MMQD 测试中的最佳方法也将在KIMTI/S 3S 测试中赢得最佳标准。

0
下载
关闭预览

相关内容

【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
专知会员服务
109+阅读 · 2020年3月12日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
如何评价FAIR最新开源的Detectron2目标检测框架?
极市平台
18+阅读 · 2019年10月14日
人脸检测库:libfacedetection
Python程序员
15+阅读 · 2019年3月22日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
11+阅读 · 2018年3月15日
语义分割+视频分割开源代码集合
极市平台
35+阅读 · 2018年3月5日
【推荐】视频目标分割基础
机器学习研究会
9+阅读 · 2017年9月19日
Arxiv
20+阅读 · 2020年6月8日
Precise Detection in Densely Packed Scenes
Arxiv
3+阅读 · 2019年4月8日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
Arxiv
12+阅读 · 2019年1月24日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
Arxiv
5+阅读 · 2018年4月17日
VIP会员
相关资讯
如何评价FAIR最新开源的Detectron2目标检测框架?
极市平台
18+阅读 · 2019年10月14日
人脸检测库:libfacedetection
Python程序员
15+阅读 · 2019年3月22日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
11+阅读 · 2018年3月15日
语义分割+视频分割开源代码集合
极市平台
35+阅读 · 2018年3月5日
【推荐】视频目标分割基础
机器学习研究会
9+阅读 · 2017年9月19日
相关论文
Arxiv
20+阅读 · 2020年6月8日
Precise Detection in Densely Packed Scenes
Arxiv
3+阅读 · 2019年4月8日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
Arxiv
12+阅读 · 2019年1月24日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
Arxiv
5+阅读 · 2018年4月17日
Top
微信扫码咨询专知VIP会员