【CVPR 2023】虚拟稀疏卷积的多模态三维目标检测

近年来，通过深度补全无缝融合RGB图像和LiDAR数据的基于虚拟/伪点的三维物体检测方法受到了广泛关注。然而，图像生成的虚拟点非常密集，在检测过程中引入了大量的冗余计算。同时，不准确的深度补全带来的噪声严重降低了检测精度。本文提出一种快速有效的骨干网络VirConvNet，基于一种新的算子VirConv (Virtual Sparse Convolution)，用于基于虚拟点的3D目标检测。VirConv由两个关键设计组成:(1)随机体素丢弃(StVD)和(2)NRConv(抗噪子流形卷积)。StVD通过丢弃大量邻近的冗余体素来缓解计算问题。NRConv通过在2D图像和3D LiDAR空间中编码体素特征来解决噪声问题。通过集成VirConv，首先基于早期的融合设计开发了一个高效的流水线VirConv- l。然后，基于变换后的求精方案构建高精度流水线virconvt;最后，基于伪标签框架实现了半监督流水线VirConv-S。在KITTI car 3D检测测试排行榜上，我们的VirConv-L以56ms的快速运行速度实现了85%的AP。VirConv-T和VirConv-S分别获得了86.3%和87.2% AP的高精度，目前分别排在第2和第1位。代码可以在https://github.com/hailanyi/VirConv上找到。