【博士论文】拓扑神经网络：通过高阶交互缓解图神经网络的瓶颈

自然现象的不可约复杂性促使图神经网络成为执行图结构数据上表示学习任务的标准模型。尽管它们捕捉局部与全局模式的能力十分出色，但与长距离和高阶依赖相关的问题为这些模型带来了相当大的挑战。本工作通过首先识别负面影响图神经网络在学习强依赖于长距离交互事件的表示时性能的各个方面，来应对这些挑战。特别是，当图神经网络需要在远距离节点之间聚合消息时，消息传递机制会将指数级增长的信息量过度压缩到静态向量中。 值得注意的是，对于某些类别的图（即路径、树、网格、环形和梯形），底层的连通性允许消息沿着边缘传递，而不会遇到来自其他路径的显著干扰，从而将信息的增长量控制在线性级别上。 当底层图不属于上述类别时，会出现过度压缩现象，因为信息的传播发生在通过边缘相连的节点之间，这导致了计算图反映节点的连通性。这一现象导致节点对来自图远端的信息变得不敏感。为了提供一种缓解此类瓶颈的新架构设计视角，一个统一的理论框架揭示了网络的宽度、深度和图拓扑对消息传递神经网络中过度压缩现象的影响。 然后，论文转向通过拓扑神经网络利用高阶交互。凭借多关系归纳偏见，拓扑神经网络通过更高维度的结构传递消息，有效地提供信息流的快捷方式或额外路线。通过这种构建，底层的计算图不再与输入图结构耦合，从而缓解了上述瓶颈，同时也考虑了高阶交互。受到图注意力网络中开发的掩蔽自监督学习机制以及由单纯形和胞腔复合体提供的丰富连通性的启发，提出了两种不同的注意力架构：单纯形注意力网络和胞腔注意力网络。 这些架构背后的理念是利用特定排列的节点组内单纯形或胞腔复合体提供的扩展邻域概念。特别是，这些拓扑注意力网络利用底层复合体的上下邻接性来设计能够衡量来自不同区域信息重要性的各向异性聚合。通过这样做，它们捕捉到传统图神经网络可能错过的依赖关系。 最后，通过增强的细胞同构网络引入了一个高阶结构之间的通信方案，它通过让一个胞腔复合体的所有细胞从它们的下层邻域接收消息来增强拓扑消息传递方案。这种升级使得在胞腔复合体内的节点组之间，特别是以环状结构排列的，能够直接互动。这种增强的方案为高阶和长距离交互提供了更全面的表示，展示了在大规模和长距离基准测试上的非常高性能。 在深度学习的不断演进的景观中，数据中存在的关系模式已变得至关重要，用以解决图结构数据的表示学习任务。本论文从这一视角出发，探索了拓扑神经网络的领域，强调了代数拓扑学领域的概念与在离散拓扑空间上执行表示学习任务之间的协同作用。本工作的目标结构旨在确保在理解高阶交互及其在推进神经架构方面的角色上具有深度和广度。

具体而言，本论文的目标是：

• 基础知识：深入图论和代数拓扑学领域，了解如何利用图、单纯形复合体和胞腔复合体来构建高级神经架构，以在拓扑空间上执行表示学习任务（第2章）。
• 当代GNNs的挑战：解析图神经网络（GNNs），指出它们的局限性，特别强调过度压缩现象。通过理解网络深度、宽度和拓扑的影响，本论文为展示拓扑方法如何在处理长距离交互时缓解图神经网络的瓶颈奠定了基础（第3章）。
• 设计拓扑扩展：开发新型的拓扑神经网络架构，如单纯形注意力网络、胞腔注意力网络和增强的拓扑消息传递（CIN++），这些架构融合了代数拓扑的原则，以纳入长距离和高阶交互（第4章）。
• 实证评估：对所提出的模型进行实验评估，实证地确认这些主张，并将所提出的架构与该领域现有的最先进方法进行比较，突出了在结构化学习场景中纳入拓扑方法的优势和有效性（第5章）。
• 更广泛的视角：讨论拓扑神经网络在各个领域的影响，同时也讨论其限制，并提供未来的发展方向（第6章）。