华为诺亚方舟实验室网络大脑团队联合天津大学提出一种采用双向对抗训练生成中间域样本提升半监督域自适应效果的方法,该工作《Bidirectional Adversarial Training for Semi-Supervised Domain Adaptation》已发表于IJCAI 2020。 论文地址:https://www.ijcai.org/Proceedings/2020/130

领域自适应(domain adaptation)是迁移学习中的一个重要问题,目的是减小分布不同的源域 (source domain) 和目标域(target domain)的数据差距。从而可以把在源域上训练的模型迁移到目标域上。无监督领域自适应和半监督领域自适应是其中的两个重要的子问题。通常情况下,无监督领域自适应不需要目标域中的任何标注,而半监督领域自适应往往需要目标域的少量标注。本文解决的是半监督的领域自适应(Semi-Supervised Domain Adaptation,SSDA)问题。这个问题的一个主要挑战是如何有效的利用这些目标域的少量标注信息来缩小源域和目标域的领域鸿沟(Domain Gap)。

经典的方法主要还是基于无监督领域自适应的思想去学习一个领域不变的分类模型。然而,这种方法主要是采用对抗学习来学习这种不变性,并没有很好的利用目标域的标注信息。

本文采用了生成对抗样本的思路在源域和目标域之间建立联系。简单来说,我们采用一些样本生成的策略,在Domain Gap内部生成新的样本点,如下图中黄色样本所示。然后利用这些生成样本训练网络,达到领域自适应的目的。

为了实现上述目的,我们希望生成的样本点能尽可能地具备方向性,即从源域到目标域,以及从目标域到源域双向地生成对抗样本。为此,本文借鉴对抗防御中的对抗训练策略,在真实样本上叠加有向的噪声扰动,提出一种双向对抗训练(Bidirectional Adversarial Training)的方法一定程度上解决SSDA问题。

成为VIP会员查看完整内容
33

相关内容

领域自适应是与机器学习和转移学习相关的领域。 当我们的目标是从源数据分布中学习在不同(但相关)的目标数据分布上的良好性能模型时,就会出现这种情况。 例如,常见垃圾邮件过滤问题的任务之一在于使模型从一个用户(源分发)适应到接收显着不同的电子邮件(目标分发)的新模型。 注意,当有多个源分发可用时,该问题被称为多源域自适应。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【KDD2020】多源深度域自适应的时序传感数据
专知会员服务
59+阅读 · 2020年5月25日
训练技巧 | 功守道:NLP中的对抗训练 + PyTorch实现
PaperWeekly
12+阅读 · 2019年11月13日
科研人员提出海量虚拟数据生成新方法
中科院之声
6+阅读 · 2019年9月25日
【学界】虚拟对抗训练:一种新颖的半监督学习正则化方法
GAN生成式对抗网络
10+阅读 · 2019年6月9日
虚拟对抗训练:一种新颖的半监督学习正则化方法
人工智能前沿讲习班
8+阅读 · 2019年6月9日
一文读懂文本处理中的对抗训练
PaperWeekly
22+阅读 · 2019年6月5日
CVPR 2019 Oral 论文解读 | 无监督域适应语义分割
AI科技评论
49+阅读 · 2019年5月29日
Adversarial Transfer Learning
Arxiv
12+阅读 · 2018年12月6日
Arxiv
4+阅读 · 2018年5月21日
VIP会员
相关VIP内容
【KDD2020】多源深度域自适应的时序传感数据
专知会员服务
59+阅读 · 2020年5月25日
微信扫码咨询专知VIP会员