The goal of Out-of-Distribution (OOD) generalization problem is to train a predictor that generalizes on all environments. Popular approaches in this field use the hypothesis that such a predictor shall be an \textit{invariant predictor} that captures the mechanism that remains constant across environments. While these approaches have been experimentally successful in various case studies, there is still much room for the theoretical validation of this hypothesis. This paper presents a new set of theoretical conditions necessary for an invariant predictor to achieve the OOD optimality. Our theory not only applies to non-linear cases, but also generalizes the necessary condition used in \citet{rojas2018invariant}. We also derive Inter Gradient Alignment algorithm from our theory and demonstrate its competitiveness on MNIST-derived benchmark datasets as well as on two of the three \textit{Invariance Unit Tests} proposed by \citet{aubinlinear}.


翻译:外分布( OOD) 常规化问题的目标是训练一个能概括所有环境的预测器。 该领域的流行方法使用这样的假设, 即这样的预测器应该是能够捕捉到各种环境中保持不变的机制的\ textit{ 变量预测器。 虽然这些方法在各种案例研究中都取得了实验性的成功, 但对于这一假设的理论验证仍有很大的空间。 本文展示了一套新的理论条件, 使一个变量预测器能够实现 OOOD 的最佳性。 我们的理论不仅适用于非线性案例, 而且还概括了在\ citet{rojas2018in variant} 中使用的必要条件。 我们还从我们的理论中推导出“ 梯度调整算法”, 并展示其在MNISST 衍生的基准数据集和citet{ aubinlinear 提议的三种 text { 单项测试中的两项的竞争力 。

0
下载
关闭预览

相关内容

专知会员服务
80+阅读 · 2021年7月31日
专知会员服务
41+阅读 · 2021年4月2日
【干货书】机器学习Primer,122页pdf
专知会员服务
106+阅读 · 2020年10月5日
机器学习速查手册,135页pdf
专知会员服务
338+阅读 · 2020年3月15日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
最佳实践:深度学习用于自然语言处理(三)
待字闺中
3+阅读 · 2017年8月20日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
38+阅读 · 2021年8月31日
VIP会员
相关VIP内容
专知会员服务
80+阅读 · 2021年7月31日
专知会员服务
41+阅读 · 2021年4月2日
【干货书】机器学习Primer,122页pdf
专知会员服务
106+阅读 · 2020年10月5日
机器学习速查手册,135页pdf
专知会员服务
338+阅读 · 2020年3月15日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
最佳实践:深度学习用于自然语言处理(三)
待字闺中
3+阅读 · 2017年8月20日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员