【博士论文】在时空系统中学习因果表示

本论文探讨了如何使用机器学习从高维无结构数据中学习因果结构、机制和表示，重点关注视觉和时间系统。首先，论文介绍了ENCO，一种用于神经因果发现的新算法，能够处理干预数据。ENCO将图搜索重新定义为独立边缘似然的优化，保证了收敛性，并能够高效地扩展到大规模图，同时处理确定性变量和潜在混杂变量。接下来，论文着重于因果表示学习，提出了CITRIS，一种基于神经网络的方法，可以从带有干预的高维时间序列数据中识别标量和多维因果因素。这包括建立因果表示学习与干预设计之间的联系，确定识别所需的最小干预。该方法进一步扩展为处理瞬时效应，推出iCITRIS，能够同时识别因果变量并学习它们的瞬时因果图。随后，论文探讨了基于代理的框架，提出了BISCUIT，一种变分自编码器，通过无监督学习在复杂环境中识别因果变量和代理交互，展示了其在具身AI和机器人学中的应用。最后，论文研究了由偏微分方程（PDE）描述的动态系统。通过分析神经PDE求解器的时间展开策略，发现对非主导空间频率的不准确建模是一个关键问题，并且因果地影响长期动态。为了解决这个问题，提出了PDE-Refiner，一种受扩散启发的方法，用于细化所有频率分量的建模。因果推理的能力在我们的日常生活中扮演着至关重要的角色。无论我们想知道今天早晨闹钟为什么没有响，为什么我们的自行车坏了，还是为什么天空是蓝色的，我们都在不断寻找因果解释。对“为什么”这一问题的追寻自古以来就被认为是人类知识的核心。早在亚里士多德时，这位希腊哲学家就曾断言：“我们对某事物的知识，只有在掌握了它的‘为什么’，即它的因果关系后，才算真正拥有”（Charlton，1983）。几个世纪后，哲学家约翰·斯图尔特·密尔（John Stuart Mill）指出，我们对世界的理解是建立在识别因果关系的基础上的（Mill，1843）。因果推理的重要性不仅仅体现在理解方面，它还使我们能够预测并可能控制未来事件。在我们的日常生活中，这可能表现为防止事故发生和解决技术问题。在科学研究中，它使我们能够应对复杂的科学挑战，例如理解气候变化背后错综复杂的因果关系，从而减缓其影响。正如朱迪亚·皮尔（Judea Pearl）简洁地指出的：“因果关系是物理现实以及人类对现实理解的基本构建块”（Pearl，2009）。尽管人类被认为能够对抽象概念（如物体及其相互作用）进行因果推理，但我们并非天生以这种结构化的因果形式感知环境。相反，我们通过感官器官——主要是我们的眼睛、耳朵和触觉——来体验世界，这些感官为我们提供复杂的高维输入数据。例如，我们的视觉皮层接收着持续不断的光子流，这些光子流必须经过处理和解释，才能形成连贯的知觉。从婴儿期开始，人类就学习如何解读和理解这种复杂的感官输入，逐步构建出对物理世界的因果描述。发展心理学家已证明，即使是非常年轻的儿童也能推断因果关系，并形成对物理学的朴素理解（Buchsbaum等，2012；Goddu和Gopnik，2024；Gopnik和Schulz，2007）。从原始感官数据构建因果模型的过程，不仅对我们日常的互动至关重要，而且为我们推理更复杂现象的能力奠定了基础。尽管人类通过感官输入发展因果理解，现代人工智能系统则以不同的方式处理类似的挑战。这些AI模型处理图像、视频和语音等原始数据，在各种任务中取得了令人印象深刻的成果，往往达到了或超过了人类的表现。然而，它们也在面对看似简单的情境时表现出令人惊讶的失败，特别是在输入数据受到轻微扰动时。这种差异源于方法的根本不同：大多数AI系统依赖于模式匹配和统计相关性，将输入映射到输出，而不是构建世界的因果模型。从观测数据集中唯一地识别因果关系是一个非常具有挑战性的任务，并且在没有额外假设的情况下，通常是不可能的（Spirtes等，2000）。这一局限性导致了AI中的一个关键问题：难以区分相关性与因果关系。这种混淆导致了许多数据的误解或荒谬的假设，例如吃巧克力导致诺贝尔奖或鹳鸟带来婴儿的说法（Aggarwal & Ranganathan，2016；Messerli，2012；Vigen，2024）。随着有关人类水平AI表现的讨论日益增多，像朱迪亚·皮尔（Judea Pearl）和约书亚·本吉奥（Yoshua Bengio）这样的研究人员认为，实现真正的人类水平智能需要在AI系统中开发因果推理能力（Bengio，2019；Pearl，2018）。构建和推理因果模型的能力，而不仅仅是识别统计模式，被视为创建能够真正理解和与世界互动的类人AI的重要一步。本论文旨在弥合这一差距，研究如何从高维无结构数据中学习因果结构、机制和表示，特别聚焦于视觉输入，如图像和视频序列。通过集中研究具有时间和空间特征的环境，我们反映了人类因果理解在物理世界中的复杂性。为了为我们的工作提供全面的背景，本章其余部分结构如下：第1.1节介绍了基于相关性的学习在机器学习中的缺陷，强调了因果方法的必要性。第1.2节讨论了因果关系的基本概念，为我们的研究奠定理论框架。第1.3节详细探讨了因果表示学习的任务，探索了其挑战和潜力。然后，在第1.4节中，我们提出了具体的研究问题，概述了本论文旨在解决的关键问题。最后，在第1.5节中，我们列出了我们的出版物和各章节的个人贡献。