Optimizing the performance of classifiers on samples from unseen domains remains a challenging problem. While most existing studies on domain generalization focus on learning domain-invariant feature representations, multi-expert frameworks have been proposed as a possible solution and have demonstrated promising performance. However, current multi-expert learning frameworks fail to fully exploit source domain knowledge during inference, resulting in sub-optimal performance. In this work, we propose to adapt Transformers for the purpose of dynamically decoding source domain knowledge for domain generalization. Specifically, we build one domain-specific local expert per source domain and one domain-agnostic feature branch as query. A Transformer encoder encodes all domain-specific features as source domain knowledge in memory. In the Transformer decoder, the domain-agnostic query interacts with the memory in the cross-attention module, and domains that are similar to the input will contribute more to the attention output. Thus, source domain knowledge gets dynamically decoded for inference of the current input from unseen domain. This mechanism enables the proposed method to generalize well to unseen domains. The proposed method has been evaluated on three benchmarks in the domain generalization field and shown to have the best performance compared to state-of-the-art methods.


翻译:优化对隐蔽域样本的分类员的性能仍是一个具有挑战性的问题。虽然大多数关于领域一般化的现有研究都侧重于学习域内差异特征的表示方式,但多专家框架已经作为一种可能的解决方案提出,并表现出有希望的绩效。然而,目前的多专家学习框架在推论期间未能充分利用源域知识,从而导致次优性性性能。在这项工作中,我们提议为动态解码源域知识的目的调整变换器,以动态解码源域知识,供域内一般化使用。具体地说,我们为源域建立一个特定域专家,为查询而建立一个域内特性分支。一个变换器编码器将所有特定域特性编码为记忆中的源域知识。在变换器解码器中,域内异性查询与交叉注意单元的记忆相互作用,而与投入类似的领域将更有助于注意输出。因此,源域内知识被动态解码,以便从无形域内现有输入的推断出一个特定域。这一机制使得拟议的方法能够向隐蔽域进行广泛化。在三个域域域内比较了最佳的业绩方法。在比较了一般域内显示。

0
下载
关闭预览

相关内容

专知会员服务
29+阅读 · 2021年5月6日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
【资源】领域自适应相关论文、代码分享
专知
31+阅读 · 2019年10月12日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
Domain Adaptation via Prompt Learning
Arxiv
0+阅读 · 2022年2月14日
Arxiv
8+阅读 · 2021年10月28日
Arxiv
13+阅读 · 2021年3月29日
Arxiv
5+阅读 · 2020年3月17日
Arxiv
3+阅读 · 2019年3月26日
VIP会员
相关VIP内容
专知会员服务
29+阅读 · 2021年5月6日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
相关资讯
【资源】领域自适应相关论文、代码分享
专知
31+阅读 · 2019年10月12日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
相关论文
Top
微信扫码咨询专知VIP会员