Robustness to certain distribution shifts is a key requirement in many ML applications. Often, relevant distribution shifts can be formulated in terms of interventions on the process that generates the input data. Here, we consider the problem of learning a predictor whose risk across such shifts is invariant. A key challenge to learning such risk-invariant predictors is shortcut learning, or the tendency for models to rely on spurious correlations in practice, even when a predictor based on shift-invariant features could achieve optimal i.i.d generalization in principle. We propose a flexible, causally-motivated approach to address this challenge. Specifically, we propose a regularization scheme that makes use of auxiliary labels for potential shortcut features, which are often available at training time. Drawing on the causal structure of the problem, we enforce a conditional independence between the representation used to predict the main label and the auxiliary labels. We show both theoretically and empirically that this causally-motivated regularization scheme yields robust predictors that generalize well both in-distribution and under distribution shifts, and does so with better sample efficiency than standard regularization or weighting approaches.


翻译:在某些 ML 应用中, 某些分销转换的强力性是许多 ML 应用中的关键要求。 通常, 相关的分销转换可以在生成输入数据的过程的干预方面形成。 在这里, 我们考虑的是学习一个预测器的问题, 这种预测器在这种转变中的风险是变化无常的。 学习这种风险- 变化预测器的一个关键挑战在于: 快速学习, 或者是模型在实际中依赖虚假的关联的倾向, 即便基于转换- 变化特性的预测器原则上可以达到最佳i. i. 普遍化。 我们提议一种灵活、 因果关系驱动的方法来应对这一挑战。 具体地说, 我们提议一种正规化办法, 利用辅助标签来设置潜在的快捷特征, 而在培训时往往可以找到这些特征。 根据问题的因果结构, 我们强制实行一种有条件的独立性, 用于预测主要标签和辅助标签的代言。 我们从理论上和从经验上都表明, 这种因变化驱动的正规化计划会产生稳健的预测器, 能够将分布和分配之下的转移普遍化,, 并且比标准正规化或加权化方法更具有样的效率 。

0
下载
关闭预览

相关内容

【经典书】模式识别导论,561页pdf
专知会员服务
81+阅读 · 2021年6月30日
专知会员服务
15+阅读 · 2021年4月16日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
专知会员服务
163+阅读 · 2020年7月27日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
95+阅读 · 2020年5月31日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
机器学习速查手册,135页pdf
专知会员服务
338+阅读 · 2020年3月15日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
已删除
将门创投
11+阅读 · 2019年4月26日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
1+阅读 · 2021年7月5日
Arxiv
0+阅读 · 2021年6月30日
Arxiv
5+阅读 · 2018年5月1日
Arxiv
3+阅读 · 2018年3月21日
VIP会员
相关VIP内容
【经典书】模式识别导论,561页pdf
专知会员服务
81+阅读 · 2021年6月30日
专知会员服务
15+阅读 · 2021年4月16日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
专知会员服务
163+阅读 · 2020年7月27日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
95+阅读 · 2020年5月31日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
机器学习速查手册,135页pdf
专知会员服务
338+阅读 · 2020年3月15日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
相关资讯
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
已删除
将门创投
11+阅读 · 2019年4月26日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员