【牛津大学博士论文】将序列结构与几何结构融入深度神经网络

现代深度学习模型虽已取得巨大成功，但在处理结构化输入时仍面临挑战，除非其能够摄取海量数据，或由反映数据内在的序列结构或几何结构的归纳偏置（inductive biases）进行引导。本论文聚焦于提升模型在诸如时间序列与图结构数据等场景下的性能，这些数据类型在金融、医疗等现实领域中普遍存在。尤其是，本论文针对这些领域中若干关键挑战——包括长程依赖、不规则采样、过平滑（over-smoothing）与过压缩（over-squashing）——旨在设计具备高表达能力、高性能且计算高效的模型架构。

我们将本论文划分为两个部分。第一部分关注学习具备序列结构的数据，并解决深度学习在该数据模态中面临的若干经典问题。第二部分聚焦于几何深度学习，在第 §5 节中，我们构建了递归模型与图深度学习之间的联系，并进一步研究了流形学习中的一个独立问题。 首先，在 §3 中，我们提出了一种用于限制订单簿（limit order books）的深度生存分析方法，该方法利用卷积–Transformer 生成潜在表示，并使用单调神经网络来满足所建模函数的约束。通过将局部卷积滤波器、自注意力机制以及右删失对数似然损失相结合，我们的方法能够有效捕捉高频金融数据中复杂的时间动态，在订单成交概率的估计上显著优于标准基线方法。 接着在 §4 中，我们介绍了 Rough Transformers ——一种将 signature transforms 融入 Transformer 的新架构。通过提取局部与全局的 signature 特征，Rough Transformer 能够高效建模不规则采样的时间序列数据，同时大幅降低计算成本。 在图神经网络方面，我们在 §5 中重新审视过平滑与过压缩现象，并从消失梯度（vanishing gradients）的角度分析其根源。我们展示了归一化邻接矩阵的收缩特性如何导致梯度骤减及表示坍缩。通过将 GNN 重新解释为状态空间模型（state-space models），我们提出了 GNN-SSMs，该模型能够显式控制逐层雅可比矩阵谱。该状态空间化框架能够缓解过平滑问题，并增强长程信息传播，有效连接递归学习与图学习的思想。 最后，在 §6 中，我们提出 Neural Latent Geometry Search（NLGS），一个能够自动发现最优潜在空间几何结构的框架。我们将潜在空间建模为常曲率流形的笛卡尔积，并引入一种基于 Gromov–Hausdorff 距离的原则性度量来比较候选潜在几何。通过构建一个融入几何信息的图搜索空间并应用贝叶斯优化，我们的方法能够高效发现与数据内在结构最契合的“乘积流形签名”，并在图像重建与潜在图结构推断等任务上验证了其有效性。 总体而言，这些研究贡献旨在通过将时间与几何归纳偏置融入深度神经网络架构，推动深度学习在表达能力、可扩展性与性能方面的提升，以更好地服务多样化的真实应用场景。