CIKM2021 ｜ 异质图上的图神经网络对比预训练

近年来，图已经成为表示各种真实世界数据集的抽象。作为一种图结构数据进行机器学习的新兴工具，图神经网络（GNN）通过递归聚合相邻节点的内容（即特征或嵌入）来学习强大的图表示，从而保留内容和结构信息。它们已被证明可以提高各种图应用程序的性能，如节点和图分类、推荐系统和图生成。一般来说，GNN模型是使用（半）监督信息端到端的方式进行训练的，不同的下游任务需要大量不同的标记数据。然而，在大多数现实场景中，大量的标记数据通常代价高昂。为了充分利用未标记的图结构数据，最近部分工作从最近一些自然语言处理和计算机视觉中的预训练技术中获得了灵感，并提出在图上进行预训练的GNN模型。虽然这些GNN预训练方法取得了很好的性能，但它们都是针对同构图进行设计，其中每个节点或边都属于同一类型。相比之下，现有策略忽略了异构图，其中多种类型的节点通过不同类型的边相互作用。

现实生活中的网络可以构成异构图，这些图体现了丰富的语义并组成由多种类型的节点和边产生的独特结构。如图1（a）所示，为书目数据构建了一个简单异构图，该图由作者、论文、会议和术语类型的节点以及作者论文、论文会议和论文术语类型的边组成。不同类型的节点或边通常表现出不同的网络属性，如度和聚类系数。例如，会议节点通常比作者节点具有更高的度。此外，这种异构性还产生了更复杂的语义上下文，涉及到多个节点之间的多方关系，例如，描述了“同一作者关于相似主题的两篇论文”的语义语境。除了简单的示例之外，异构图在很多领域中也普遍存在，例如在用户、产品、品牌和商店以各种方式交互的电子商务中，以及在疾病、蛋白质和药物相互关联的生物学中。考虑到它们的普遍性，为异构图设计有效的GNN预训练策略变得很重要。

在本文中，我们提出了一个对比预训练的方案，它不仅考虑单个节点之间的差异，还保留了多个节点之间的高阶语义。更具体的说，本文设计了一个预训练任务来区分不同类型的两个节点之间的关系类型（比如，作者-论文和论文-会议关系）来为下游任务编码统一的基础。受对比学习[42]的启发，为了增强样本的代表性，本文从两个方面构造负关系级样本：（1）来自不一致关系的负样本，其中两个节点与正样本是不同的关系；（2）来自不相关节点的负样本，其中两个节点在图中根本没有链接。同时，本文提出了一个异构图上的子图级预训练任务，使用元图而不是元路径来生成子图实例进行对比学习，因此能够对不同上下游任务相关的高阶语义进行信息编码。