在自动驾驶中,激光雷达点云和RGB图像是两种主要的具有互补线索的三维目标检测数据模式。然而,由于模态内之间存在很大的差异,很难充分利用它们。为了解决这个问题,我们提出了一个新的框架,即用于多模态三维物体检测(CAT-Det)的对比增强Transformer(contrast Augmented Transformer)。具体来说,CAT-Det采用双流结构,由点前(PT)分支、图像前(IT)分支和交叉模态转换器(CMT)模块组成。PT、IT和CMT共同编码内模态和跨模态的长程上下文来表示一个对象,从而充分挖掘多模态信息进行检测。此外,我们提出了一种有效的单向多模态数据增强(OMDA)方法,通过在点和对象层面上进行层次对比学习,仅通过增强点云就可以显著提高精度,而无需复杂地生成两种模式的成对样本。在KITTI基准上的大量实验表明,CAT-Det达到了最新的技术水平,凸显了其有效性。

https://www.zhuanzhi.ai/paper/cdc9f14be76be206c2dfa2c11871e4d7

成为VIP会员查看完整内容
12
0

相关内容

CVPR 2022 将于2022年 6 月 21-24 日在美国的新奥尔良举行。CVPR是IEEE Conference on Computer Vision and Pattern Recognition的缩写,即IEEE国际计算机视觉与模式识别会议。该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议,会议的主要内容是计算机视觉与模式识别技术。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【CVPR2022】三元组对比学习的视觉-语言预训练
专知会员服务
19+阅读 · 3月3日
【AAAI2022】用于视觉常识推理的场景图增强图像-文本学习
专知会员服务
20+阅读 · 2021年12月20日
【NeurIPS2021】多模态虚拟点三维检测
专知会员服务
16+阅读 · 2021年11月16日
专知会员服务
8+阅读 · 2021年10月6日
专知会员服务
8+阅读 · 2021年8月2日
专知会员服务
14+阅读 · 2021年5月1日
【CVPR2021】自监督几何感知
专知会员服务
35+阅读 · 2021年3月6日
【CVPR2021】用Transformers无监督预训练进行目标检测
专知会员服务
46+阅读 · 2021年3月3日
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
36+阅读 · 2021年2月7日
【NeurIPS2021】多模态虚拟点三维检测
专知
0+阅读 · 2021年11月16日
【CVPR2021】基于Transformer的视频分割领域
专知
1+阅读 · 2021年4月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Max-Margin Contrastive Learning
Arxiv
15+阅读 · 2021年12月21日
Arxiv
44+阅读 · 2021年11月15日
Arxiv
14+阅读 · 2021年9月21日
Arxiv
13+阅读 · 2021年3月29日
小贴士
相关VIP内容
【CVPR2022】三元组对比学习的视觉-语言预训练
专知会员服务
19+阅读 · 3月3日
【AAAI2022】用于视觉常识推理的场景图增强图像-文本学习
专知会员服务
20+阅读 · 2021年12月20日
【NeurIPS2021】多模态虚拟点三维检测
专知会员服务
16+阅读 · 2021年11月16日
专知会员服务
8+阅读 · 2021年10月6日
专知会员服务
8+阅读 · 2021年8月2日
专知会员服务
14+阅读 · 2021年5月1日
【CVPR2021】自监督几何感知
专知会员服务
35+阅读 · 2021年3月6日
【CVPR2021】用Transformers无监督预训练进行目标检测
专知会员服务
46+阅读 · 2021年3月3日
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
36+阅读 · 2021年2月7日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员