CVPR2021 百度研究院 | 半监督迁移学习的自适应一致性正则化

论文：Adaptive Consistency Regularization for Semi-Supervised Transfer Learning 链接： https://www.zhuanzhi.ai/paper/43d085f2c66d68b77584edcb0ee36ba0 代码：https://github.com/SHI-Labs/Semi-Supervised-Transfer-Learning

尽管最近半监督学习的研究在利用标记和未标记数据方面有显著进步，但大多数假设模型的基本设置是随机初始化的。

因此本文将半监督学习和迁移学习相结合提出了一种半监督的转移学习框架，该方法不仅能利用目标域（目标任务数据集）中的标记/未标记数据，还能利用源域（具有不同语义的通用数据集，如：ImageNet）中的预训练模型。为了更好地利用预训练权重和未标记目标数据，我们引入了自适应一致性正则化，它由两个互补组件组成：源模型和目标模型之间的示例上的自适应知识一致性（AKC），以及自适应表示一致性（ARC） ），在目标模型上标记和未标记的示例之间，根据它们对目标任务的潜在贡献，自适应地选择一致性正则化中涉及的示例。

通过微调ImageNet预训练的ResNet-50模型，我们在几个流行的基准上进行了广泛的实验，包括CUB-200-2011，MIT Indoor-67，MURA。结果表明，我们提出的自适应一致性正则化性能优于最新的半监督学习技术，例如Pseudo Label，Mean Teacher和MixMatch。此外，我们的算法能与现有方法共同使用，因此能够在MixMatch和FixMatch之上获得其他改进。

本文的主要贡献包含以下三点：

1、第一个提出用于深度神经网络的半监督转移学习框架 2、利用半监督学习和转移学习的特性引入自适应一致性正则化来改善半监督转移学习 3、实验结果表明所提出的自适应一致性正则化性能优于最新的半监督学习技术