「拓扑深度学习」 最新2023研究综述 ，81页pdf

拓扑深度学习最新概述文章，值得关注！

拓扑深度学习是一个迅速发展的领域，涉及为支持拓扑域（如单纯复合物、胞复合物和超图）的数据开发深度学习模型，这些拓扑域推广了在科学计算中遇到的许多领域。在本文中，我们提出了一个统一的深度学习框架，该框架基于一种更丰富的数据结构，包括广泛采用的拓扑域。具体来说，我们首先引入组合复合物，一种新型的拓扑域。组合复合物可以看作是保持某些期望性质的图的泛化。与超图类似，组合复合物对关系集合没有约束。此外，组合复合物允许构建类似于单纯复合物和胞复合物中的分层高阶关系。因此，组合复合物泛化并结合了超图和胞复合物的有用特性，这两者已经成为促使图神经网络向拓扑空间推广的有前景的抽象。其次，基于组合复合物及其丰富的组合和代数结构，我们开发了一般类的消息传递组合复合物神经网络（CCNNs），主要关注基于注意力的CCNNs。我们描述了CCNNs的排列和方向等变性，并详细讨论了CCNNs中的汇集和反汇集操作。第三，我们评估了CCNNs在与网格形状分析和图学习相关的任务上的性能。我们的实验表明，与专门针对相同任务的最先进的深度学习模型相比，CCNNs具有竞争性的性能。我们的研究结果证明了将高阶关系纳入不同应用的深度学习模型的优势。

引言

近年来，用于计算分析的数据量呈指数级增长，包括科学数据以及文本、图像和音频等常见数据类型。这大量的数据使得包括物理学、化学、计算社会科学和生物学在内的各个领域得以利用机器学习技术（主要是深度神经网络）取得重大进展。由于深度神经网络可以有效地总结和提取大型数据集中的模式，因此它们适用于许多复杂任务。最初，深度神经网络是为了学习基于规律（欧几里得）领域的数据而发展起来的，例如图像中的网格、文本序列和时间序列。这些模型，包括卷积神经网络（CNNs）[156, 162, 243]、循环神经网络（RNNs）[249, 13]和变换器（Transformers）[256]，在处理这类欧几里得数据方面已被证明具有很高的效果[117]，在各种应用中取得了空前的性能，最近的例子包括聊天机器人（例如 ChatGPT [2]）和文本控制的图像合成[223]。

然而，各个领域的科学数据往往具有不同的结构，并不都是基于规律的欧几里得域。因此，调整深度神经网络来处理这类数据一直是个挑战。在这一背景下，几何深度学习（GDL）[50, 284, 268]作为深度学习模型在非欧几里得领域的扩展应运而生。为了实现这一目标，GDL通过几何规律原理（如对称性、不变性和等变性）对执行的计算进行限制。GDL的视角使得在处理任意数据域时可以施加适当的归纳偏见，包括集合[215, 217, 81, 283, 138]、网格[45, 187, 46, 154, 242, 267, 196]、流形[45, 187, 46, 154, 242, 267, 196]和图[232, 101, 284, 268, 46, 196, 49, 150]。特别是图，由于其在众多科学研究中的适用性以及它们能够泛化传统网格的能力，因而受到了人们的关注。因此，图神经网络（GNNs）[49, 150]的发展显著提高了我们在自然出现图的多种数据类型中进行建模和分析的能力。

尽管几何深度学习（GDL）和图神经网络（GNNs）取得了成功，但仅从纯几何的角度看待图形会产生纯粹的局部抽象，并无法捕捉数据中的非局部特性和依赖关系。拓扑数据，包括边（在图中）、三角形（在网格中）或团的相互作用，在复杂物理系统[30, 161]、交通预测[144]、社会影响[285]、蛋白质相互作用[200]、分子设计[237]、视觉增强[95]、推荐系统[160]和流行病学[82]等众多新颖应用中自然产生。为了本质上和有效地对这些数据建模，我们必须超越图形，考虑在某些几何变换下保持不变的定性空间属性。换句话说，我们需要考虑数据的拓扑结构[58]，以构建能够从复杂数据中提取语义含义的神经网络架构。从数据中提取更多全局信息的一种方法是超越基于图的抽象，考虑图的扩展，如单纯复形、胞复形和超图，这些概念可以推广到科学计算中遇到的大多数数据领域[41, 29, 32, 253]。学习从这些拓扑领域支持的数据中学习的机器学习模型的发展[97, 53, 222, 234, 42, 121, 123, 91, 235, 221, 112, 272]是一个迅速增长的新领域，我们将其称为拓扑深度学习（TDL）。TDL融合了几个研究领域，包括拓扑数据分析（TDA）[93, 58, 86, 178, 108]、拓扑信号处理[233, 273, 236, 222, 21, 219, 229]、网络科学[245, 161, 20, 29, 41, 39, 33, 80, 19, 203]和几何深度学习[278, 56, 99, 177, 27, 197, 26]。

尽管对拓扑深度学习（TDL）的兴趣日益增长，但迄今为止尚未建立这些思想的基本原则的更广泛综合。我们认为，这种不足阻碍了TDL的进展，因为这使得在不同概念之间建立联系变得具有挑战性，阻碍了比较，并使其他领域的研究者难以找到进入TDL的切入点。因此，在本文中，我们旨在提供一个关于TDL原则的基本概述，不仅作为近年来文献中涌现出的许多令人兴奋的想法的统一框架，还作为一个概念性的起点，以促进新想法的探索。最终，我们希望这项工作将有助于TDL的加速发展，我们相信这将成为将深度学习成功转移到更广泛应用场景的关键推动力。受到代数拓扑[108, 133]中传统拓扑概念以及高阶网络方面的最新进展[29, 253, 41, 30]的启发，我们首先引入组合复形（CCs）作为我们TDL框架的主要构建模块。组合复形构成了一个新颖的拓扑领域，将图形、单纯复形、胞复形和超图作为特殊情况加以统一，如图11所示。与超图类似，CCs（连接复合体）可以在抽象实体集合之间编码任意集合式关系。此外，CCs允许构建类似于在单纯形和胞腔复合体中发现的分层高阶关系。因此，CCs将超图和胞腔复合体的最期待的 特性进行了概括和整合。

此外，我们引入了构建深度神经网络所需的运算符，以便基于组合复合体学习输入特征和抽象概括。这些运算符提供了卷积、注意力机制、信息传递方案以及实现不变性、等变性或其他几何规律的方法。具体而言，我们的新颖的前推操作允许在不同维度之间传递数据，从而构成了在CCs（连接复合体）上定义高阶信息传递协议和（非）池化操作的基本构建模块。由此产生的学习机器，我们称之为组合复合体神经网络（CCNNs），如我们的实验评估中所清楚地展示的那样，它们能够学习抽象的高阶数据结构。 我们设想我们的贡献将成为一个平台，鼓励研究人员和实践者扩展我们的CCNNs，并邀请社区在我们的工作基础上扩展高阶领域的TDL（拓扑数据学习）。我们的贡献如图1所示，包括以下几点：

首先，我们将CCs（连接复合体）引入作为TDL（拓扑数据学习）领域。我们描述了CCs及其属性，并解释了它们如何概括主要现有领域，例如图、超图、单纯形和胞腔复合体。因此，CCs可以作为一个统一的起点，实现拓扑数据的表达式表示的学习。

其次，使用CCs作为领域，我们构建了CCNNs，这是一种基于超图和胞腔复合体的TDL模型的抽象高阶信息传递神经网络类，为这些模型提供了统一的蓝图。

*基于在CCs上定义的前推操作符，我们为CCNNs引入了卷积、注意力、池化和反池化操作符。

• 我们对CCNNs的排列和方向等变性进行了形式化和研究，为未来关于CCNNs几何化的工作铺平了道路。
• 我们展示了如何通过图形符号直观地构建CCNNs（组合复合体神经网络）。

第三，我们在实际场景中评估我们的想法。

• 我们发布了我们框架的源代码，作为三个支持的Python库：TopoNetX、TopoEmbedX和TopoModelX。
• 我们展示了CCNNs（组合复合体神经网络）在各种应用中与最先进的特定任务神经网络具有竞争性的预测能，包括形状分析和图学习。
• 我们建立了我们的工作与TDA（拓扑数据分析）中经典构造之间的联系，如映射器[244]。特别地，我们以我们的TDL（拓扑数据学习）框架的方式实现映射器构造，并展示了如何在CCs（连接复合体）上的高阶（非）池化中利用它。
• 我们展示了任何CC可以简化为一个特殊的图，称为Hasse图。这使得我们可以用基于图的模型来表征CCNNs的某些方面，从而将高阶表示学习简化为图表示学习（使用扩大的计算图）。