【CMU博士论文】迈向机器学习解微分方程的理论与实证基础

近年来，机器学习的快速发展推动了数据驱动方法在科学发现中的广泛应用。本文研究了将机器学习技术应用于**偏微分方程（Partial Differential Equations, PDEs）**求解的问题。PDE 是分析和描述多种科学现象的基本构建模块，涵盖领域包括流体力学、气候与天气预测以及分子动力学等。 然而，随着系统维度的增加，PDE 求解的计算成本会随着输入维度呈指数级增长。此外，每当 PDE 系统配置发生变化时，数值求解器都需要从头开始重新运行，进一步加剧了计算负担。

本论文的目标是从理论和实证两个角度探讨数据驱动的机器学习方法在何种条件下能够有效地求解 PDEs。论文建立了一些理论条件，指出在特定类别的 PDE 中，数据驱动的机器学习方法在降低计算成本方面能够带来实际收益。此外，本文还系统探索了使用神经网络近似 PDE 解的结构设计空间，并深入理解何种架构选择能够为下游应用带来优势。

本论文共分为三个部分： * 第一部分（第2、3、4章）提出了一系列理论结果，证明神经网络在逼近复杂 PDE 解方面具有强大的表示能力。这几章表明，对于某些 PDE 家族，神经网络可以在理论上规避“维度灾难”。 * 第二部分（第5、6、7章）探讨了**神经算子（Neural Operators）**的结构设计选择。神经算子是一类用于逼近整个 PDE 家族解的神经网络方法。我们还基于这些研究见解，设计了可用于多物理场建模的高效架构，实现对多个 PDE 家族的统一近似。 * 第三部分涉及对图结构数据的近似问题。这类数据广泛存在于科学领域，如分子结构和不规则网格上的 PDE。第8章中，我们展示了状态空间模型架构（如 Mamba）如何泛化到图结构数据。第9章则提出了一个理论结果，证明在图神经网络中保留边嵌入（edge embeddings）在表示能力上具有显著优势。