【CMU博士论文】面向更强大的图表示学习，208页pdf

图在现实世界中被广泛用于表示关系，许多数据自然地表示为图，如社交网络、蛋白质结构、分子和交易。与有特定自然顺序的图像和文本不同，图是无序且置换不变的，这为学习良好的表示带来了显著的困难。图神经网络（GNNs）被提出并不断改进以用于图表示学习。本论文研究了节点级和图级表示，并提出了实现更强大表示学习的解决方案，目标是实现图上的基础模型。

在第一部分中，我关注于节点级图表示学习，并解决一个被称为“表示过平滑”的关键问题。为了进一步理解图卷积网络（GCNs）的优势，我们探索了神经网络和主成分分析（PCA）之间的关系。我们的研究表明，图正则化PCA的解与单个图卷积层的公式一致。

在第二部分中，我深入研究了图级表示学习。不同于对表格数据的多层感知机（MLPs）作为通用函数逼近器，GNNs的表达能力有限。我探索了增强GNN表达能力的两个方向：使用有根子图以实现更好的局部结构感知；探索无序高阶交互，以实现与有序对应物相当的表达能力，同时获得实际使用中的极大可扩展性。 在第三部分中，我聚焦于图的生成模型。不同于需要标签来学习任务依赖表示的判别模型，生成模型擅长无监督表示学习。然而，由于图的无序性，图生成提出了独特的挑战，这需要一种独立于任何特定排序的方法。为了解决这个问题，我首先研究了应用于分类数据的扩散模型，并提出简化和统一现有的离散时间和连续时间离散扩散模型。基于统一的离散扩散模型，我提出了一种基于部分顺序的扩散模型，将自回归方法与扩散模型结合用于图生成。这种方法奠定了图生成预训练的基础。

在最后一部分中，我探讨了图表示学习的应用。具体而言，我研究了图级异常检测（GLAD），其具有许多重要应用。由于GLAD很少被探索，我构建了一个强大的基于GNN的基准“OCGIN”，一个包含数据集和许多非GNN基准的评估平台。我还发现并研究了一个称为“性能翻转”的问题。随后，我设计了一种用于检测普华永道可疑会计交易的特定模型，该模型需要处理具有元数据的属性多图，能够有效地检测专家引导的异常。