We study the problem of learning causal models from observational data through the lens of interpolation and its counterpart -- regularization. A large volume of recent theoretical, as well as empirical work, suggests that, in highly complex model classes, interpolating estimators can have good statistical generalization properties and can even be optimal for statistical learning. Motivated by an analogy between statistical and causal learning recently highlighted by Janzing (2019), we investigate whether interpolating estimators can also learn good causal models. To this end, we consider a simple linearly confounded model and derive precise asymptotics for the *causal risk* of the min-norm interpolator and ridge-regularized regressors in the high-dimensional regime. Under the principle of independent causal mechanisms, a standard assumption in causal learning, we find that interpolators cannot be optimal and causal learning requires stronger regularization than statistical learning. This resolves a recent conjecture in Janzing (2019). Beyond this assumption, we find a larger range of behavior that can be precisely characterized with a new measure of *confounding strength*. If the confounding strength is negative, causal learning requires weaker regularization than statistical learning, interpolators can be optimal, and the optimal regularization can even be negative. If the confounding strength is large, the optimal regularization is infinite, and learning from observational data is actively harmful.
翻译:我们研究从观察数据中学习因果模型的问题,从内推及其对应方的透镜中,从观察数据中学习因果模型 -- -- 正规化。大量最近的理论和实证工作表明,在高度复杂的模型类中,内推估计者具有良好的统计概括性,甚至可以最佳地进行统计学习。我们以Janzing(2019年)最近突出的统计和因果学习之间的类比为动力,我们调查乘数估计者是否也能学习良好的因果模型。为此,我们考虑一个简单的线性模糊模型,并得出一个精确的因果风险* 的随机风险* 。最近大量理论和实证性工作表明,在高度体系中,内推论者可以具有良好的统计概括性特征,根据独立因果机制的原则,一个标准假设,我们发现内推者不可能最佳和因果性学习比统计学更强。我们发现,除了这一假设外,我们发现更多的行为范围可以精确地描述成新度的 " 焦化 " 强度* " 的 " 的 " 内积 " 的 " 的 " 的 " 的 ",甚至 " 稳重 " 的 " 和 " 的 " 的 " 结构化 " 的 " 的 " 的 " 的 " 的 " 和 " 的 " 和 " 的 " 的 " 的 " 的 " 的 " 的 " 的 " 的 " 的 " 的 " 的 " 的 " 的 " 的 " 等值 " 等值 " 的 " 的 " 的 " 的 " 的 " 的 ",如果是 " 和 " 的 " 的 " 的 " 的 " 的 " 和 " 的 " 的 " 的 " 的 " 和 " 的 " 的 " 的 " 的 " 的 " 的 " 的 " 的 " 的 " 的 " 的 " 的 " 的 " 等值 " 的 " 的 " 的 " 的 " 的 " 的 " 的 " 的 " 的 " 和 " 的 " 的 " 的 " 的 " 等值 " 等值 " 的 " 等值 " 的 " 的 " 的 "