【IJCAI2020】通过双向对抗训练生成中间域样本提升半监督域自适应效果

华为诺亚方舟实验室网络大脑团队联合天津大学提出一种采用双向对抗训练生成中间域样本提升半监督域自适应效果的方法，该工作《Bidirectional Adversarial Training for Semi-Supervised Domain Adaptation》已发表于IJCAI 2020。 论文地址：https://www.ijcai.org/Proceedings/2020/130

领域自适应（domain adaptation）是迁移学习中的一个重要问题，目的是减小分布不同的源域 (source domain) 和目标域（target domain）的数据差距。从而可以把在源域上训练的模型迁移到目标域上。无监督领域自适应和半监督领域自适应是其中的两个重要的子问题。通常情况下，无监督领域自适应不需要目标域中的任何标注，而半监督领域自适应往往需要目标域的少量标注。本文解决的是半监督的领域自适应（Semi-Supervised Domain Adaptation，SSDA）问题。这个问题的一个主要挑战是如何有效的利用这些目标域的少量标注信息来缩小源域和目标域的领域鸿沟（Domain Gap）。

经典的方法主要还是基于无监督领域自适应的思想去学习一个领域不变的分类模型。然而，这种方法主要是采用对抗学习来学习这种不变性，并没有很好的利用目标域的标注信息。

本文采用了生成对抗样本的思路在源域和目标域之间建立联系。简单来说，我们采用一些样本生成的策略，在Domain Gap内部生成新的样本点，如下图中黄色样本所示。然后利用这些生成样本训练网络，达到领域自适应的目的。

为了实现上述目的，我们希望生成的样本点能尽可能地具备方向性，即从源域到目标域，以及从目标域到源域双向地生成对抗样本。为此，本文借鉴对抗防御中的对抗训练策略，在真实样本上叠加有向的噪声扰动，提出一种双向对抗训练（Bidirectional Adversarial Training）的方法一定程度上解决SSDA问题。