Domain generalization (DG) aims to learn a generalizable model from multiple known source domains for unknown target domains. Tremendous data distributed across lots of places/devices nowadays that can not be directly accessed due to privacy protection, especially in some crucial areas like finance and medical care. However, most of the existing DG algorithms assume that all the source datasets are accessible and can be mixed for domain-invariant semantics extraction, which may fail in real-world applications. In this paper, we introduce a challenging setting of training a generalizable model by using distributed source datasets without directly accessing them. We propose a novel method for this setting, which first trains a model on each source dataset and then conduct data-free model fusion that fuses the trained models layer-by-layer based on their semantic similarities, which aggregates different levels of semantics from the distributed sources indirectly. The fused model is then transmitted and trained on each dataset, we further introduce cross-layer semantic calibration for domain-invariant semantics enhancement, which aligns feature maps between the fused model and a fixed local model with an attention mechanism. Extensive experiments on multiple DG datasets show the significant performance of our method in tackling this challenging setting, which is even on par or superior to the performance of the state-of-the-art DG approaches in the standard DG setting.


翻译:广域化( DG) 旨在从多个已知源域学习一个通用模型, 用于未知目标域的未知源域。 巨大的数据分布于许多地方/设施,由于保护隐私, 特别是财务和医疗等关键领域的隐私, 无法直接访问这些数据。 然而, 大部分现有的 DG 算法假设所有源数据集都可以访问, 并且可以间接地将所有源数据集混在一起, 用于域- 异性 语义提取, 这在现实世界应用程序中可能失败。 在本文中, 我们引入了一个具有挑战性的培训设置, 一个通用模型, 使用分布式源数据集, 而不直接访问它们。 我们为这一设置提出了一个新颖的方法, 首先对每个源数据集进行模型的模型进行不直接访问, 然后进行无数据模式的整合, 根据经培训的模型的语义相似性能逐层组合, 将分布源源的语义提取不同程度的语义提取。 然后, 在每套数据集中, 我们进一步引入跨层次的语义校校校校校, 用于域变式的语义加强。 我们的语义化模型的地图图图图图, 将连接模型和高层次的本地模型将显示的立的立的立局的功能模型。

0
下载
关闭预览

相关内容

数据资产化前瞻性研究白皮书
专知会员服务
45+阅读 · 2021年11月19日
面向任务型的对话系统研究进展
专知会员服务
57+阅读 · 2021年11月17日
如何构建你的推荐系统?这份21页ppt教程为你讲解
专知会员服务
64+阅读 · 2021年2月12日
【KDD2020-UCLA-微软】GPT-GNN:图神经网络的预训练
专知会员服务
62+阅读 · 2020年8月19日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
78+阅读 · 2020年7月26日
【斯坦福】凸优化圣经- Convex Optimization (附730pdf下载)
专知会员服务
220+阅读 · 2020年6月5日
深度强化学习策略梯度教程,53页ppt
专知会员服务
178+阅读 · 2020年2月1日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
职播间 | 从0到1构建聊天机器人
AI研习社
5+阅读 · 2018年10月30日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
VIP会员
Top
微信扫码咨询专知VIP会员