One of the most critical problems in transfer learning is the task of domain adaptation, where the goal is to apply an algorithm trained in one or more source domains to a different (but related) target domain. This paper deals with domain adaptation in the presence of covariate shift while invariances exist across domains. One of the main limitations of existing causal inference methods for solving this problem is scalability. To overcome this difficulty, we propose SCTL, an algorithm that avoids an exhaustive search and identifies invariant causal features across source and target domains based on Markov blanket discovery. SCTL does not require having prior knowledge of the causal structure, the type of interventions, or the intervention targets. There is an intrinsic locality associated with SCTL that makes it practically scalable and robust because local causal discovery increases the power of computational independence tests and makes the task of domain adaptation computationally tractable. We show the scalability and robustness of SCTL for domain adaptation using synthetic and real data sets in low-dimensional and high-dimensional settings.


翻译:转让学习中最关键的问题之一是域适应任务,其目标是将一个在一个或多个源域中受过训练的算法应用于不同的(但相关)目标域。本文件涉及在共变量变化的情况下对域的适应,而不同域的变量则存在于不同域间。现有因果推导方法的主要局限性之一是可缩放性。为了克服这一困难,我们提议SCTL,这是一种避免在Markov总体发现的基础上对源和目标域进行彻底搜索并查明无变因果特性的算法。SCTL并不要求事先了解因果结构、干预类型或干预目标。SCTL的内在位置使得它实际上可以缩放和稳健,因为局部因果发现增加了计算独立测试的功率,并使域适应任务可以调整。我们用低维和高维环境中的合成和真实数据集来显示SCTL在域适应方面的可缩放性和坚固性。

1
下载
关闭预览

相关内容

专知会员服务
43+阅读 · 2021年3月8日
【AAAI2021】 层次图胶囊网络
专知会员服务
83+阅读 · 2020年12月18日
迁移学习简明教程,11页ppt
专知会员服务
107+阅读 · 2020年8月4日
【ICML2020】机器学习无参数在线优化,294页ppt
专知会员服务
54+阅读 · 2020年8月1日
最新《生成式对抗网络》简介,25页ppt
专知会员服务
173+阅读 · 2020年6月28日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
110+阅读 · 2020年5月15日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
14+阅读 · 2020年12月17日
Arxiv
8+阅读 · 2020年8月30日
VIP会员
相关VIP内容
专知会员服务
43+阅读 · 2021年3月8日
【AAAI2021】 层次图胶囊网络
专知会员服务
83+阅读 · 2020年12月18日
迁移学习简明教程,11页ppt
专知会员服务
107+阅读 · 2020年8月4日
【ICML2020】机器学习无参数在线优化,294页ppt
专知会员服务
54+阅读 · 2020年8月1日
最新《生成式对抗网络》简介,25页ppt
专知会员服务
173+阅读 · 2020年6月28日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
110+阅读 · 2020年5月15日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
相关资讯
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员