【CVPR2021】半监督迁移学习的自适应一致性正则化

Adaptive Consistency Regularization for Semi-Supervised Transfer Learning Abulikemu Abuduweili1,2*, Xingjian Li1,3∗ , Humphrey Shi2† , Cheng-Zhong Xu3 , Dejing Dou1†

虽然最近关于半监督学习的研究在利用标记和未标记数据方面取得了显著进展，但大多数研究都假定模型的基本设置是随机初始化的。在这项工作中，我们将半监督学习和迁移学习结合起来，从而形成一个更实用和更具竞争力的范式，该范式可以利用来自源领域的强大的预训练模型以及目标领域的标记/未标记数据。更好地利用pre-trained权重和标记的价值目标的例子,我们引入自适应一致性互补正规化,由两部分组成:自适应知识一致性(AKC)在源和目标之间的示例模型和自适应表示一致性(AKC)标记和未标记示例之间的目标模型。一致性正则化所涉及的实例是根据它们对目标任务的潜在贡献自适应选择的。通过微调ImageNet预先训练的ResNet-50模型，我们对流行基准进行了广泛的实验，包括CIFAR-10、CUB-200、Indoor67和MURA。结果表明，我们提出的自适应一致性正则化优于最先进的半监督学习技术，如伪标签、Mean Teacher和MixMatch。此外，我们的算法与现有的方法是正交的，因此能够在MixMatch和FixMatch之上获得额外的改进。我们的代码可以在https://github.com/SHI-Labs/SemiSupervised-Transfer-Learning上找到。