In this study, we dive deep into the inconsistency of pseudo targets in semi-supervised object detection (SSOD). Our core observation is that the oscillating pseudo-targets undermine the training of an accurate detector. It injects noise into the student's training, leading to severe overfitting problems. Therefore, we propose a systematic solution, termed ConsistentTeacher, to reduce the inconsistency. First, adaptive anchor assignment~(ASA) substitutes the static IoU-based strategy, which enables the student network to be resistant to noisy pseudo-bounding boxes. Then we calibrate the subtask predictions by designing a 3D feature alignment module~(FAM-3D). It allows each classification feature to adaptively query the optimal feature vector for the regression task at arbitrary scales and locations. Lastly, a Gaussian Mixture Model (GMM) dynamically revises the score threshold of pseudo-bboxes, which stabilizes the number of ground truths at an early stage and remedies the unreliable supervision signal during training. ConsistentTeacher provides strong results on a large range of SSOD evaluations. It achieves 40.0 mAP with ResNet-50 backbone given only 10% of annotated MS-COCO data, which surpasses previous baselines using pseudo labels by around 3 mAP. When trained on fully annotated MS-COCO with additional unlabeled data, the performance further increases to 47.7 mAP. Our code is available at \url{https://github.com/Adamdad/ConsistentTeacher}.


翻译:在本研究中,我们深入探讨了半监督目标检测(SSOD)中伪标签的不一致性。我们的核心观察是,振荡的伪目标破坏了准确检测器的训练。它向学生的训练注入噪声,导致严重的过度拟合问题。因此,我们提出了一个系统性的解决方案,称为一致性监督者,用于减少不一致性。首先,自适应锚点分配(ASA)替换了静态的基于IoU的策略,使学生网络抵抗嘈杂的伪边界框。然后,通过设计一个三维特征对齐模块(FAM-3D)来校准子任务预测。它允许每个分类特征在任意尺度和位置自适应地查询回归任务的最佳特征向量。最后,高斯混合模型(GMM)动态地修正伪框的分数阈值,稳定早期阶段的真实数量,修复训练期间的不可靠监督信号。一致性监督者在各种 SSOD 评估中提供了强大的结果。它使用 ResNet-50 骨干模型仅给出了 MS-COCO 10% 的已注释数据即可实现 40.0 mAP,超过以前使用伪标签的基线约 3 mAP。当在完全注释的 MS-COCO 上训练时,性能进一步提高到 47.7 mAP。我们的代码在 \url{https://github.com/Adamdad/ConsistentTeacher} 上可用。

0
下载
关闭预览

相关内容

【CVPR2022】基于密集学习的半监督目标检测
专知会员服务
19+阅读 · 2022年4月19日
专知会员服务
16+阅读 · 2021年5月23日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
161+阅读 · 2020年3月18日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
【推荐】ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
机器学习研究会
20+阅读 · 2017年12月17日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
14+阅读 · 2022年5月6日
Arxiv
38+阅读 · 2021年8月31日
Arxiv
14+阅读 · 2021年3月10日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员