Semi-supervised domain adaptation (SSDA) aims to solve tasks in target domain by utilizing transferable information learned from the available source domain and a few labeled target data. However, source data is not always accessible in practical scenarios, which restricts the application of SSDA in real world circumstances. In this paper, we propose a novel task named Semi-supervised Source Hypothesis Transfer (SSHT), which performs domain adaptation based on source trained model, to generalize well in target domain with a few supervisions. In SSHT, we are facing two challenges: (1) The insufficient labeled target data may result in target features near the decision boundary, with the increased risk of mis-classification; (2) The data are usually imbalanced in source domain, so the model trained with these data is biased. The biased model is prone to categorize samples of minority categories into majority ones, resulting in low prediction diversity. To tackle the above issues, we propose Consistency and Diversity Learning (CDL), a simple but effective framework for SSHT by facilitating prediction consistency between two randomly augmented unlabeled data and maintaining the prediction diversity when adapting model to target domain. Encouraging consistency regularization brings difficulty to memorize the few labeled target data and thus enhances the generalization ability of the learned model. We further integrate Batch Nuclear-norm Maximization into our method to enhance the discriminability and diversity. Experimental results show that our method outperforms existing SSDA methods and unsupervised model adaptation methods on DomainNet, Office-Home and Office-31 datasets. The code is available at https://github.com/Wang-xd1899/SSHT.


翻译:半监督的域适应(SSDA)旨在利用从现有源域和少数标签目标数据获得的可转让信息,解决目标领域的任务。然而,源数据在实际情景中并不总是可以获得,这限制了SDA在现实世界环境中的应用。在本文中,我们提议了一项新颖的任务,名为半监督的源假设传输(SSHT),根据经过源培训的模型进行域调整,在目标领域进行广泛推广,并进行一些监督。在SSHT中,我们面临两个挑战:(1) 标记的目标数据不足可能会在决定边界附近造成目标特征,而错误分类的风险更大;(2) 数据通常在源域中不平衡,因此用这些数据培训的模型是有偏差的。偏差模式很容易将少数群体类别样本分类为多数类别,从而导致低度的预测多样性。为了解决上述问题,我们提出了Consicity和多样性学习(CDL),这是SSHT的一个简单而有效的框架,它促进两种未经随机添加的未标记的数据的一致性,并且在将预测多样性多样性维持在将模型调整模型调整成目标域域域域域域域域域域的模型时,因此将SDILALLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLOFSSS-S-S-S-S-S-S-S-S-S-S-S-SD-S-S-S-SD-SD-SD-SD-SD-S-S-S-SD-SD-S-S-S-S-SD-SD-S-S-S-S-S-S-S-S-S-S-SD-S-S-SD-S-S-S-S-S-S-S-S-S-S-S-S-SD-S-S-S-S-S-S-SD-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-I-I-I-

0
下载
关闭预览

相关内容

专知会员服务
32+阅读 · 2021年3月7日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
95+阅读 · 2020年5月31日
利用Uncertainty修正Domain Adaptation中的伪标签
极市平台
3+阅读 · 2020年4月16日
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Continual Unsupervised Representation Learning
Arxiv
7+阅读 · 2019年10月31日
VIP会员
相关VIP内容
专知会员服务
32+阅读 · 2021年3月7日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
95+阅读 · 2020年5月31日
相关资讯
利用Uncertainty修正Domain Adaptation中的伪标签
极市平台
3+阅读 · 2020年4月16日
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员