在领域泛化工作中,一个常见的目标是在类标签条件下学习独立于领域的表示。我们证明这个目标是不充分的: 存在反例,在满足类条件域不变性后,模型不能泛化到不可见域。我们通过一个结构性因果模型将这个观察形式化,并展示了类内变量建模对泛化的重要性。具体来说,类包含描述特定因果特征的对象,而域可以被解释为对这些对象的干预,这些对象改变了非因果特征。我们强调了一个可选条件:如果来自相同对象,那么跨域的输入应该具有相同的表示。在此基础上,我们提出了观测基础目标时的匹配算法(如通过数据增强)和未观测目标时的近似算法(MatchDG)。我们简单的基于匹配的算法在旋转MNIST、Fashion-MNIST、PACS和胸部x射线数据集的域外精度方面具有很好性能。我们的方法MatchDG也恢复了真实对象匹配:在MNIST和Fashion-MNIST上,MatchDG的前10个匹配与真实匹配有超过50%的重叠。

https://www.zhuanzhi.ai/paper/31ab67a1084ea226ed432d5f8240cffb

成为VIP会员查看完整内容
41

相关内容

专知会员服务
19+阅读 · 2021年8月30日
专知会员服务
38+阅读 · 2021年8月20日
专知会员服务
34+阅读 · 2021年8月19日
专知会员服务
11+阅读 · 2021年7月4日
专知会员服务
21+阅读 · 2021年6月28日
专知会员服务
37+阅读 · 2021年6月3日
专知会员服务
29+阅读 · 2021年5月20日
专知会员服务
81+阅读 · 2021年5月10日
专知会员服务
32+阅读 · 2020年10月2日
【ICML2021】低秩Sinkhorn 分解
专知
9+阅读 · 2021年8月20日
深度学习图像检索(CBIR): 十年之大综述
专知
65+阅读 · 2020年12月5日
EMNLP2019 | 领域自适应的人岗匹配研究
AI科技评论
3+阅读 · 2019年10月12日
用深度学习揭示数据的因果关系
专知
28+阅读 · 2019年5月18日
如何匹配两段文本的语义?
夕小瑶的卖萌屋
3+阅读 · 2018年6月12日
机器学习(27)【降维】之主成分分析(PCA)详解
机器学习算法与Python学习
9+阅读 · 2017年11月22日
Arxiv
0+阅读 · 2021年10月11日
Arxiv
0+阅读 · 2021年10月10日
Arxiv
12+阅读 · 2021年6月29日
Deep Randomized Ensembles for Metric Learning
Arxiv
5+阅读 · 2018年9月4日
VIP会员
相关VIP内容
专知会员服务
19+阅读 · 2021年8月30日
专知会员服务
38+阅读 · 2021年8月20日
专知会员服务
34+阅读 · 2021年8月19日
专知会员服务
11+阅读 · 2021年7月4日
专知会员服务
21+阅读 · 2021年6月28日
专知会员服务
37+阅读 · 2021年6月3日
专知会员服务
29+阅读 · 2021年5月20日
专知会员服务
81+阅读 · 2021年5月10日
专知会员服务
32+阅读 · 2020年10月2日
相关资讯
【ICML2021】低秩Sinkhorn 分解
专知
9+阅读 · 2021年8月20日
深度学习图像检索(CBIR): 十年之大综述
专知
65+阅读 · 2020年12月5日
EMNLP2019 | 领域自适应的人岗匹配研究
AI科技评论
3+阅读 · 2019年10月12日
用深度学习揭示数据的因果关系
专知
28+阅读 · 2019年5月18日
如何匹配两段文本的语义?
夕小瑶的卖萌屋
3+阅读 · 2018年6月12日
机器学习(27)【降维】之主成分分析(PCA)详解
机器学习算法与Python学习
9+阅读 · 2017年11月22日
微信扫码咨询专知VIP会员