AAAI2021 | 图神经网络的异质图结构学习

会员服务 ·

AAAI2021 | 图神经网络的异质图结构学习

2021 年 1 月 20 日 专知

论文解读者：北邮 GAMMA Lab 2020届硕士赵健安

题目： 图神经网络的异质图结构学习

会议： AAAI 2021

论文链接：http://shichuan.org/doc/100.pdf

论文代码：

https://github.com/Andy-Border/HGSL

1 摘要

近年来，异质图神经网络引起了广泛关注并应用在各种下游任务上。现有异质图神经网络模型通常依赖于原始的异质图结构并暗含着原始图结构是可靠的假设。然而，这种假设往往并不现实，异质图结构普遍存在噪声和缺失的问题。因此，如何为异质图神经网络学习一个合适的图结构而不是依赖于原始图结构是一个关键问题。为解决这一问题，本文首次研究了异质图结构学习(Heterogeneous Graph Structure Learning)问题，并提出了HGSL框架来联合学习适合分类的异质图结构和图神经网络参数。HGSL 通过挖掘特征相似性、特征与结构之间的交互以及异质图中的高阶语义结构来生成适合下游任务的异质图结构并联合学习 GNN参数。三个数据集上的实验结果表明，HGSL 的性能优于基线模型。

2 引言

许多真实世界的数据具有图结构，例如社交媒体图、文献引用图。图神经网络（GNN）作为一种处理图数据的强大深度表示学习工具被广泛地应用于节点分类、图分类以及推荐等下游任务中。最近，随着真实世界中异质图应用的激增，学者们提出了异质图神经网络（HGNN），并在一系列应用上取得了优越的效果。

大多数HGNN遵循一种消息传递（message passing）机制，其中节点的表示通过聚合和转换其 原始邻居或基于元路径邻居的信息来学习。然而，这些方法依赖于一个基本假设，即原始异质图结构良好且适合下游任务。然而，这种假设因为以下原因经常不成立。首先，由于异质图通常是根据一些预先定义的规则从复杂的交互系统中提取得出，这些交互系统本身不可避免地包含了一些不确定的信息或错误。以推荐中的用户-物品图为例，用户可能会误点一些不需要的物品，给图带来噪声信息。其次，异质图的提取通常要经过数据清洗、特征提取和特征转换等过程，这些过程通常与下游任务无关，导致提取的图结构与下游任务之间存在差距。因此，为GNN学习适合下游任务的异质图结构是一个重要的问题。

本文首次对图神经网络的异质图结构学习进行研究，并提出了一个异质图结构学习框架HGSL。HGSL框架根据下游任务对异质图结构和GNN参数进行联合学习。在图结构学习部分，HGSL分别对每个关系子图进行学习。具体来说，对于每一种关系，通过从异质节点特征和图结构中挖掘复杂关联，生成特征图、和语义图并与原始图结构进一步融合成可学习的异质图结构馈送给GNN。最终，图结构学习参数和GNN参数联合优化以完成节点分类任务。

3 方法

一个异质图的邻接矩阵由多个关系子矩阵构成，即。因此，如上图所示，对于每个关系子矩阵， HGSL 根据节点属性，原始图结构，以及基于不同元路径的语义表示生成特征图和语义图，并将其与原始图结构融合生成新的子图结构。随后，将学习到的子图输入到GNN和正则项中，以进行具有正则化的节点分类。通过最小化正则化的分类损失，HGSL联合优化图结构和GNN参数。

3.1 特征图产生器

由于原始图对于下游任务可能不是最佳的，我们可以利用异质节点特征内部的丰富信息来增强原始图的结构。通常，有两个因素会影响基于特征的图结构的形成。一个是节点特征间的相似性，另一个是节点特征与拓扑间的关系。因此，HGSL 充分考虑这两种潜在因素来生成特征图，一方面生成一个特征相似度图，该特征相似度图通过异质特征投影和度量学习捕获由节点特征生成的潜在关系。另一方面，通过特征来生成特征传播图。最后，将生成的特征相似度图和特征传播图通过通道注意力层聚合为最终特征图。

3.2 特征相似图

特征相似图通过 特征的相似性来生成图结构，即一对特征相似的节点对存在潜在的边。

给定一个节点和类型，我们将它的特征向量映射到维的公共空间，其公共空间的特征向量记为 :

随后，我们根据度量学习来习得适合任务的一阶特征相似性图：

其中，为生成特征相似图的门限，为一个相似性度量函数，表示为：

参数为，通过为每个关系学习一个不同的度量学习函数，HGSL为每个关系自适应的根据特征相似性生成特征相似图。

3.3 特征传播图

特征相似图通过 特征与拓扑之间的交互来生成图结构，我们通过一个例子来更好的理解。例如，考虑生成用户和电影之间的潜在图结构，存在这样一种图结构生成方式：如果用户看过电影，且和相似，那么用户可能对感兴趣即和节点存在潜在边。上述潜在的图结构可以分两步构建：得到特征相似的节点对（找到相似的电影和），随后用拓扑结构传播（通过的观影历史得到可能感兴趣的电影）。HGSL 也通过上述两步过程来得到特征传播图。