【CVPR2022】CAT-Det:用于多模态三维物体检测的对比增强Transformer

在自动驾驶中，激光雷达点云和RGB图像是两种主要的具有互补线索的三维目标检测数据模式。然而，由于模态内之间存在很大的差异，很难充分利用它们。为了解决这个问题，我们提出了一个新的框架，即用于多模态三维物体检测(CAT-Det)的对比增强Transformer(contrast Augmented Transformer)。具体来说，CAT-Det采用双流结构，由点前(PT)分支、图像前(IT)分支和交叉模态转换器(CMT)模块组成。PT、IT和CMT共同编码内模态和跨模态的长程上下文来表示一个对象，从而充分挖掘多模态信息进行检测。此外，我们提出了一种有效的单向多模态数据增强(OMDA)方法，通过在点和对象层面上进行层次对比学习，仅通过增强点云就可以显著提高精度，而无需复杂地生成两种模式的成对样本。在KITTI基准上的大量实验表明，CAT-Det达到了最新的技术水平，凸显了其有效性。

https://www.zhuanzhi.ai/paper/cdc9f14be76be206c2dfa2c11871e4d7

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“CATD” 就可以获取《【CVPR2022】CAT-Det:用于多模态三维物体检测的对比增强Transformer》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取70000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取70000+AI主题知识资料