In the domain generalization literature, a common objective is to learn representations independent of the domain after conditioning on the class label. We show that this objective is not sufficient: there exist counter-examples where a model fails to generalize to unseen domains even after satisfying class-conditional domain invariance. We formalize this observation through a structural causal model and show the importance of modeling within-class variations for generalization. Specifically, classes contain objects that characterize specific causal features, and domains can be interpreted as interventions on these objects that change non-causal features. We highlight an alternative condition: inputs across domains should have the same representation if they are derived from the same object. Based on this objective, we propose matching-based algorithms when base objects are observed (e.g., through data augmentation) and approximate the objective when objects are not observed (MatchDG). Our simple matching-based algorithms are competitive to prior work on out-of-domain accuracy for rotated MNIST, Fashion-MNIST, PACS, and Chest-Xray datasets. Our method MatchDG also recovers ground-truth object matches: on MNIST and Fashion-MNIST, top-10 matches from MatchDG have over 50% overlap with ground-truth matches.


翻译:在一般化领域文献中,一个共同的目标是在对类标签进行调整后,学习独立于域外的表示。我们显示,这个目标并不足够:存在反示例:模型即使满足了等级条件域的偏差,也未能向隐蔽域推广。我们通过结构性因果模型将这一观察正式化,并表明类内差异模型对于概括化的重要性。具体地说,分类中包含特定因果特性特征的物体,而域可以被解释为对改变非因果特性的这些对象的干预。我们强调一个替代条件:如果来自同一对象,则跨域的投入应有相同的表示。基于此目标,我们提议在观测基对象时(例如通过数据增强)以匹配法为依据的算法,并在未观测对象时接近目标(MatchDG)。我们简单的匹配算法与先前关于旋转的MNIST、Fshion-MIT、PACS和Chest-Xray数据集的外部精确性工作相比,我们的方法MCTDG也从地面-ruth天体-MDG-MMAMA 上恢复了顶级的相匹配。

12
下载
关闭预览

相关内容

专知会员服务
91+阅读 · 2021年8月28日
专知会员服务
25+阅读 · 2021年4月2日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
96+阅读 · 2019年10月9日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
【CVPR2019正式公布】行人重识别论文 附下载链接
极市平台
15+阅读 · 2019年4月26日
人工智能 | 国际会议信息6条
Call4Papers
4+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年8月31日
Arxiv
0+阅读 · 2021年8月30日
Arxiv
14+阅读 · 2020年12月17日
Arxiv
13+阅读 · 2018年4月6日
VIP会员
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
【CVPR2019正式公布】行人重识别论文 附下载链接
极市平台
15+阅读 · 2019年4月26日
人工智能 | 国际会议信息6条
Call4Papers
4+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员