【剑桥大学博士论文】可识别的因果表示学习：无监督、多视图和多环境

本论文将因果关系与表示学习的思想结合在一起。因果模型通过描述每个变量受其直接原因影响的机制，提供了对复杂系统的丰富描述。因果模型支持对系统部分进行操作的推理，捕捉各种干预分布，从而有望解决人工智能（AI）的一些开放性挑战，如规划、在变化环境中的知识迁移或对分布变化的鲁棒性。然而，因果模型在AI中更广泛应用的一个关键障碍是需要预先指定相关变量，而这通常不适用于现代AI系统处理的高维、非结构化数据。同时，机器学习（ML）在自动提取此类复杂数据的有用和紧凑表示方面非常成功。因果表示学习（CRL）旨在通过学习具有因果模型语义的潜变量表示，结合ML和因果关系的核心优势。在本论文中，我们研究并提出了不同CRL设置的新结果。一个核心主题是可识别性的问题：给定无限数据，何时保证满足相同学习目标的表示是等价的？这可以说是CRL的重要先决条件，因为它正式表明了一个学习任务在原则上是否可行。由于学习因果模型——即使没有表示学习成分——是出了名的困难，我们需要在模型类或丰富数据上超越经典的独立同分布（i.i.d.）设置进行额外的假设。对于从i.i.d.数据中进行无监督表示学习，我们开发了独立机制分析，这是一种对映射潜在变量到观察变量的混合函数的约束，已证明可以促进独立潜在变量的可识别性。对于从非独立观测对中学习的多视图设置，我们证明了始终在视图间共享的不变潜在块是可识别的。最后，对于从单节点完美干预产生的非同分布数据集中学习的多环境设置，我们表明潜在变量及其因果图是可识别的。通过研究和部分描述不同设置下的可识别性，本论文探讨了在没有直接监督的情况下，CRL的可能性和不可能性，从而为其理论基础做出贡献。理想情况下，所发展的见解可以帮助指导数据收集实践，或激发新实用估计方法和算法的设计。