Domain Generalization (DG) aims to train a model, from multiple observed source domains, in order to perform well on unseen target domains. To obtain the generalization capability, prior DG approaches have focused on extracting domain-invariant information across sources to generalize on target domains, while useful domain-specific information which strongly correlates with labels in individual domains and the generalization to target domains is usually ignored. In this paper, we propose meta-Domain Specific-Domain Invariant (mDSDI) - a novel theoretically sound framework that extends beyond the invariance view to further capture the usefulness of domain-specific information. Our key insight is to disentangle features in the latent space while jointly learning both domain-invariant and domain-specific features in a unified framework. The domain-specific representation is optimized through the meta-learning framework to adapt from source domains, targeting a robust generalization on unseen domains. We empirically show that mDSDI provides competitive results with state-of-the-art techniques in DG. A further ablation study with our generated dataset, Background-Colored-MNIST, confirms the hypothesis that domain-specific is essential, leading to better results when compared with only using domain-invariant.


翻译:通用域( DG) 旨在从多个观测源域中培训模型, 以便很好地在不可见的目标域上运行。 为了获得一般化能力, 先前的 DG 方法侧重于从不同来源中提取域变量信息, 以便在目标域上普遍化, 而通常忽略了与单个域的标签和目标域的概括化密切相关的有用的具体域信息。 在本文件中, 我们提出元- Dome 特定域变量( MDSDI) -- -- 一种超越变换视角的新颖的理论健全的框架, 以进一步捕捉特定域信息的实用性。 我们的主要洞察力是, 在共同学习统一框架内的域变量和特定域特性的同时, 将潜在空间的特性分解开来。 特定域的表示方式通过元学习框架优化, 从源域进行调整, 以对隐蔽域进行强有力的概括化。 我们的经验显示, MDSDSDI 提供竞争结果, 其为GDG 的状态技术。 进一步与我们生成的数据集、 背景- Col- MNIST 进行关联研究, 在比较特定域结果时, 仅与比较时, 域域域是更好的假设, 以更重要的结果 。

0
下载
关闭预览

相关内容

可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
129+阅读 · 2020年5月14日
【阿里巴巴-CVPR2020】频域学习,Learning in the Frequency Domain
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Arxiv
16+阅读 · 2021年7月18日
Arxiv
8+阅读 · 2020年8月30日
VIP会员
相关VIP内容
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
129+阅读 · 2020年5月14日
【阿里巴巴-CVPR2020】频域学习,Learning in the Frequency Domain
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Top
微信扫码咨询专知VIP会员