Spurious correlations allow flexible models to predict well during training but poorly on related test populations. Recent work has shown that models that satisfy particular independencies involving correlation-inducing \textit{nuisance} variables have guarantees on their test performance. Enforcing such independencies requires nuisances to be observed during training. However, nuisances, such as demographics or image background labels, are often missing. Enforcing independence on just the observed data does not imply independence on the entire population. Here we derive \acrshort{mmd} estimators used for invariance objectives under missing nuisances. On simulations and clinical data, optimizing through these estimates achieves test performance similar to using estimators that make use of the full data.


翻译:纯净的相互关系使得灵活的模型能够在培训期间很好地预测,但在相关测试人群方面却差强人意。 最近的工作表明,满足与相关诱导\ textit{nisance}变量相关的特定依赖性的模型可以保证其测试性能。 执行这种不依赖性要求在培训期间观察到麻烦。 但是,诸如人口统计或图像背景标签等的麻烦往往会消失。 仅仅维护所观察到的数据的独立性并不意味着整个人口的独立性。 在这里,我们得出了在缺失的骚扰下用于变量目标的估算值。 在模拟和临床数据上,通过这些估算优化实现测试性能与使用全部数据的估算值相似。

0
下载
关闭预览

相关内容

专知会员服务
31+阅读 · 2021年7月15日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
0+阅读 · 2022年2月2日
Arxiv
0+阅读 · 2022年2月2日
Arxiv
17+阅读 · 2021年2月15日
Arxiv
7+阅读 · 2020年10月9日
Arxiv
4+阅读 · 2020年3月19日
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
相关论文
Arxiv
0+阅读 · 2022年2月2日
Arxiv
0+阅读 · 2022年2月2日
Arxiv
17+阅读 · 2021年2月15日
Arxiv
7+阅读 · 2020年10月9日
Arxiv
4+阅读 · 2020年3月19日
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
Top
微信扫码咨询专知VIP会员