图神经网络的新基准

会员服务 ·

图神经网络的新基准

2020 年 4 月 12 日 AI科技评论

作者 | 李光明

编辑 | 贾伟

编者注：本文解读论文与我们曾发文章 《 Bengio 团队力作：GNN 对比基准横空出世，图神经网络的「ImageNet」来了 》所解读 论文，为同一篇，不同作者，不同视角。一同参考。

近些年，图神经网络（GNN）的关注度越来越高，相关的算法也越来越多，应用领域越来越广，其面临的两大基础问题是：

1）构建GNN的第一原则和第一要素是什么？使用什么样的架构能够使得GNN在大数据集上同样拥有泛化能力和扩展性？

2）如何研究和量化不同 GNN 的影响？

基准框架（Benchmarking）是解决这些基础问题的强大工具。比如，著名的2012 ImageNet 竞赛提供了基准的图像数据集，引来各国参赛队伍争相产出最好的图像分类模型，直接促进了深度学习在计算机视觉领域的变革。

但设计成功的基准库面临着很多挑战：合适的数据集，鲁棒性的代码接口，以及公平的实验设置，并且要求结果可复现。现有的GNN模型常用的数据集（CORA和TU）都很小，导致大多数GNN模型产出几乎一样的结果，即使没有引入图结构的神经网络，有时都能表现地比GNN好。此外，实验参数的设置，包括超参，损失函数以及学习率的选择，都是构建基准库需要面临的挑战。

论文链接：

https://arxiv.org/pdf/2003.00982.pdf

开源链接：

https://github.com/graphdeeplearning/benchmarking-gnns

近期，南洋理工大学的Vijay等人（Yoshua Bengio 也在作者之列）发表了一篇GNN基准论文，提出了图神经网络的新基准。文章本身做了以下几点贡献：

1）基于PyTorch和DGL库在Github上开源了一个使用者友好的GNN基准库（ https://github.com/graphdeeplearning/benchmarking-gnns ）；

2）提出了一些中等规模的数据集（9-500个节点），涵盖了数学建模，计算机视觉，组合优化，以及化学等领域；

3）利用基准库验证了GNN中重要组件的有效性，包括图卷积，异性扩散，残差连接，标准化层等；

4）受限于超参寻找的代价，本文并非试图比较各种GNN模型，而是固定一组参数设定，比较各GNN算法的效果；

5）结果可复现。

基准库

本文提出了六个中等规模的数据集：

两个计算机视觉领域的数据集MNIST和CIFAR10，利用超像素将每张图片转化为图，然后进行图分类。PATTERN和CLUSTER数据集中的图由SBM（Stochastic Block Model）产生，用于识别特定子图（PATTERN）和社群发现（CLUSTER）等节点分类任务。根据旅行商问题（Traveling Salesman Problem）提出TSP数据集，用于边的分类/连接预测任务。ZINC数据集是真实存在的分子数据集，每个分子看作一张图，原子是结点，键是边，通过回归任务评估分子性质。

以上六个数据集互为补充，并且都至少包含了12000个图，不同于CORA和TU数据集，它们都是全人工或半人工产生的。本文提出这些数据集的动机就是利用足够大的数据集发现不同GNN模型之间的差异。

图神经网络

图神经网络可以简述为利用如下公式迭代节点的向量化表示：

其中表示在层，节点的维的向量化表示，是与节点连接的节点集合，表示节点的度，提供非线性，是可训练的参数矩阵。这是GCN的基础形式，而GraphSage和GIN分别提出了自己的变种，GraphSage：

GIN:

其中， , 是可训练的参数，代表标准化层。前面介绍的模型中，所有邻居节点在中心节点的更新中地位是平等的，我们称这种模型为各向同性的。

与此相对的，MoNet-高斯混合模型网络，门限图卷积网络，以及图注意力网络提出的是各向异性的模型，它们的更新机制如下所示：

其中和通过不同方式计算得到，比如图注意力网络中的attention机制和门限图卷积网络中的门限机制。

最后，本文在实验阶段还考虑了层次化图神经网络DiffPool模型，每一个抽象层都使用前述的GraphSage公式进行迭代。

CORA和TU数据集的问题

CORA和TU数据集是GNN领域常用的数据集，这些数据集来源于真实数据，但一般都很小。CORA数据集只有约2700个节点，而TU-IMDB只包含了1500个图，平均13个节点，TU-MUTAG包含188个分子和18个节点。虽然它们能够被快速地用来开发/验证新模型，但很容易导致过拟合现象。

CORA和TU数据集的另一个问题是实验结果通常不可复现。绝大部分文章并非使用统一的实验数据划分方式，此外，即使划分方式一致，在十折交叉验证情况下，GNN模型的效果会出现比较大的波动，因为数据集实在太小了，后续的实验环节会验证这一点。

实验环节

实验环节会在基准库上运行并验证图卷积网络，图注意力网络，GraphSage，DiffPool，GIN，以及MoNet等模型，它们均来自DGL库，用PyTorch实现（本文使用残差连接，批标准化和图标准化，对所有DGL中的图神经网络进行了升级）。本文同时考虑了门限图卷积神经网络（GraphGCN-E表示同时考虑边的属性），此外，将MLP并行作用于各个节点的特征向量上作为实验的baseline。实验环节会在Nvidia 1080Ti GPU上进行TU，MNIST，CIFAR10，ZINC和TSP数据集的相关实验，在Nvidia 2080Ti GPU上进行PATTERN和CLUSTER数据集的相关实验。

TU数据集上的图分类

选择三个TU数据集进行图分类实验 - ENZYMES（平均节点数2 - 126）；DD（平均节点数30 - 5748）；PROTEINS（平均节点数 4 - 620）。具体的实验设置如下：

数据划分：十折交叉验证，训练集：验证集：测试集 = 8：1：1，采用分层采样保证各数据集不会改变类的分布。

训练：使用Adam优化器（衰减学习率实现步长退火）训练，每个GNN模型的初始的学习率在到之间使用网格搜索确定。如果每25轮训练后，验证集的loss没有增加，则学习率以系数0.5衰减（减半）。实验期间不设定训练轮数的上限，实验终止的条件是学习率衰减到或更低。

准确度衡量：根据预测的分类标签和真实的类标签衡量准确度，模型效果均为十折交叉验证的平均结果。

图分类层：从GNN最后一层提取节点向量化表示，取均值作为图的向量化表示，然后作为MLP的输入，以此构建图分类层。

超参数设定：本文的目标不是选择最优的超参，而是验证模型效果，因此实验中设定参数量上限为十万，并随机选择4层神经网络。

实验结果如下图所示：

其中 seed1和seed2 分别表示两次执行实验的结果，两次均采用相同的超参配置，其中红色，蓝色，和黑色粗体分别表示第一，第二，第三优秀的效果。

超像素数据集的图分类

本环节使用计算机视觉的MNIST和CIFAR10数据集，初始的数据集使用超像素方法转化成图，超参数代表图片中同质的小部分区域，可以通过SLIC技术（可以理解成是图片上的k-Means聚类方法）得到。处理之后的MNIST数据集平均节点数是 40 - 75，CIFAR10平均节点数是85 - 150。超像素间的连接（图上的边）则通过k-近邻的邻接矩阵构建，

，其中表示超像素，理解为与k近邻节点距离的均值。转化完成后的图如下所示：

实验设置：

数据划分：使用标准的MNIST和CIFAR10的数据划分设置。

训练：仍然采用Adam优化器，初始学习率设定为，衰减系数为0.5，终止条件是学习率衰减到。

可复现性：执行4轮实验，取均值作为最终结果。

准确度衡量，图分类层，超参数设定，均同前述图分类衡量标准。

实验结果如下图所示，其中的颜色含义：Red - the best model; Violet - good models; Bold - indicates the best model between residual and non-residual connections (both models are bold if they perform equally).

分子数据集上的图回归

本环节使用ZINC数据集，平均节点数 9 - 37。对每个分子图，节点特征是原子的类型，边的特征是边的类型，实验设定除以下修改外，均与前述实验相同：

准确度衡量：采用MAE衡量回归任务的准确性。

实验结果如下图所示，颜色含义同前述实验：

SBM数据集的节点分类

SBM是一张随机图，图中的每个节点都会分配一个社区号，任意两个同属同一社区的节点以概率相连，分属不同社区的节点以概率相连（可以理解为噪声）。实验中我们设定社区总数为5，每个社区的节点数在 5 - 35之间，并设定，以此构成图G。节点的分类也是以类内概率0.5和类间概率0.5随机产生（比如，属于类P的节点有50%与图G相连），随机产生多个分类，除以下变化外，其他实验设置均与前述实验相同：