ICML 2022 | 图神经网络的局部增强

©作者 | 刘祖龙

单位 | 南京邮电大学

来源 | MIND Laboratory

论文标题：

Local Augmentation for Graph Neural Networks

论文链接：

https://arxiv.org/pdf/2109.03856.pdf

代码链接：

https://github.com/SongtaoLiu0823/LAGNN

近年来，图神经网络在基于图的任务中取得了显著的性能，而 GNN 的核心思想是通过聚集局部邻域的信息来获得节点的表示。尽管 GNN 在从局部邻域学习节点表示方面取得了进展，但局部邻域信息是否足以获得有效的节点表示仍然是一个问题，特别是对于邻居数量有限的节点。

本文认为，局部邻域中有限的邻居数量限制了 GNN 的表达能力，阻碍了它们的性能。为了解决这一问题，本文提出了一个高效的数据增强框架——LAGNN；局部增强指通过基于局部结构以及节点特征的生成模型来生成邻域特征。具体而言，本文的框架包括一个预训练步骤，该步骤通过生成模型学习一个中心节点的连接邻居节点特征的条件分布。

如图 1 所示，然后利用这个分布来生成与这个中心节点相关的特征向量，作为每次训练迭代的额外输入。

本文方法

本文的整体框架如图 1 所示。

1.1 局部增强

动机： 现有的 GNN 专注于设计一种消息传递方案，利用本地信息获得节点表示。本文探索了一个新的方向，即在局部邻域中生成更多的特征，特别是对于邻居较少的节点，以增强各种 GNN 的表达能力。

为了在 的邻域 中生成更多的特征，需要知道其邻域节点特征分布情况；由于邻域的分布与中心节点 有关，故可以通过生成模型来学习中心节点的特征。

优点：与针对每个节点训练生成模型相比，针对所有节点训练单一的生成模型有三个好处：1）通过生成模型学习图上所有节点的条件分布，降低了计算成本；2）在生成阶段，可以应用特定节点的特征向量作为输入（条件），生成与该节点相关的特征向量；3）具有较好的可扩展性和泛化性。对于添加到动态图中的新节点，可以直接生成特征向量，而不需要重新训练新的生成模型。

方法：本文利用了条件变分自编码器 (CVAE)，给定节点 ，学习其邻居 的节点特征分布。由于 的分布与 相关，本文将 作为 CVAE 的先验条件；潜在变量 由先验分布 生成， 由生成分布 ， 并依赖于条件 与 ，可表示为：

其中， 为变分的参数， 为生成器的参数。上式的置信下界为：

其中 ，L 为 v 的邻居数。在训练阶段，目标是使用相邻对 作为输入，使式 2 所示 ELBO 最大化。在生成阶段，以节点特征 为条件，采样一个潜在变量 作为解码器的输入。最终可得节点v的生成特征向量图片。

1.2 为下游任务解耦生成模型

为了进行预测，GNN 模型需要估计关于图结构邻接矩阵 A 和特征矩阵 X 的后验分布 。例如，· 可以是节点分类任务上的节点标签 Y。通常可以使用最大似然估计 (MLE) 通过优化如下似然函数来估计参数 ：

在本文的局部增强模型中，为了进一步提高 GNN 的表达能力，本文引入了生成的节点特征 ，令 表示生成的特征矩阵，其中第 j 行对应生成的特征向量 ，可改写式 3 为：

为了贝叶斯可追溯性，将上式中的 解耦为两个后验概率的乘积：

式中 P、Q 分别表示 GNN 模型和生成模型逼近的概率分布。通过这样做，可以将本文提出的局部增强和特定的图学习解耦，允许本文的增强模型应用于各种 GNN 模型，而只需要对生成模型进行一次性的预训练。

1.3 架构

LAGCN：对于 GCN，本文只在第一层图卷积层上做了小的更改：

权值矩阵 W 中的上标与下标分别表示层数和参数的序号， 与 的第二维度之和等于 的第二维度。对于 GraphSAGE 以及 GCNII，它们与 GCN 有相似的架构，故本文对其有相同的修改策略。

LAGAT：类似地，LAGAT 的第一层可表示为：

其中 α 为注意力系数，可在 或   上进行计算。

1.4 损失函数

1.4.1 监督损失

本文将原始特征矩阵 X 以及生成特征矩阵 作为训练 LAGNN 的输入，节点分类任务的监督损失可表示为：

对于其他图学习任务，如链接预测和图分类，监督损失函数可以相应调整。

1.4.2 正则化损失

一致性正则化损失表示为：

本文模型的算法框架如算法 1 所示：

实验

本文使用的数据集包括 Cora, Citeseer, Pubmed 以及 OGB 等基准数据集。节点分类的实验结果如表 1 所示。

实体预测、链接预测以及图实体预测任务如表 2、3、4 所示。

本文的消融实验如表 5 所示。

对缺失信息的鲁棒性如表 6 所示。

总结

本文提出 GNN 上的局部增强算法，一种利用生成模型来学习给定中心节点邻居特征条件分布的新技术。本文将生成模型生成的特征矩阵输入到一些改进的骨干 GNN 模型中，以提高其性能。大量的实验证明了本文算法的有效性以及鲁棒性。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·