Semi-supervised 3D object detection, aiming to explore unlabeled data for boosting 3D object detectors, has emerged as an active research area in recent years. Some previous methods have shown substantial improvements by either employing heterogeneous teacher models to provide high-quality pseudo labels or enforcing feature-perspective consistency between the teacher and student networks. However, these methods overlook the fact that the model usually tends to exhibit low sensitivity to object geometries with limited labeled data, making it difficult to capture geometric information, which is crucial for enhancing the student model's ability in object perception and localization. In this paper, we propose GeoTeacher to enhance the student model's ability to capture geometric relations of objects with limited training data, especially unlabeled data. We design a keypoint-based geometric relation supervision module that transfers the teacher model's knowledge of object geometry to the student, thereby improving the student's capability in understanding geometric relations. Furthermore, we introduce a voxel-wise data augmentation strategy that increases the diversity of object geometries, thereby further improving the student model's ability to comprehend geometric structures. To preserve the integrity of distant objects during augmentation, we incorporate a distance-decay mechanism into this strategy. Moreover, GeoTeacher can be combined with different SS3D methods to further improve their performance. Extensive experiments on the ONCE and Waymo datasets indicate the effectiveness and generalization of our method and we achieve the new state-of-the-art results. Code will be available at https://github.com/SII-Whaleice/GeoTeacher


翻译:半监督三维目标检测旨在利用未标注数据提升三维目标检测器的性能,近年来已成为一个活跃的研究领域。先前的一些方法通过采用异构教师模型提供高质量伪标签,或强制教师网络与学生网络之间保持特征视角一致性,已展现出显著改进。然而,这些方法忽略了在标注数据有限的情况下,模型通常对目标几何结构表现出较低的敏感性,导致难以捕获几何信息,而几何信息对于提升学生模型的目标感知与定位能力至关重要。本文提出GeoTeacher,旨在增强学生模型在训练数据(尤其是未标注数据)有限的情况下捕获目标几何关系的能力。我们设计了一个基于关键点的几何关系监督模块,将教师模型对目标几何的知识迁移至学生模型,从而提升学生对几何关系的理解能力。此外,我们引入了一种体素级数据增强策略,通过增加目标几何结构的多样性,进一步提升学生模型理解几何结构的能力。为在增强过程中保持远距离目标的完整性,我们在该策略中融入了距离衰减机制。此外,GeoTeacher可与不同的半监督三维目标检测方法结合,以进一步提升其性能。在ONCE和Waymo数据集上的大量实验证明了本方法的有效性和泛化能力,并取得了新的最先进结果。代码将在https://github.com/SII-Whaleice/GeoTeacher 公开。

0
下载
关闭预览

相关内容

【KDD2024】HiGPT:异构图语言模型
专知会员服务
19+阅读 · 2024年7月9日
专知会员服务
65+阅读 · 2021年4月11日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员