论文浅尝 - ICLR2020 | 用于半监督分类的图形推理学习

2020 年 7 月 10 日 开放知识图谱

论文笔记整理：周虹廷，浙江大学研究生。研究方向：知识图谱，图表示学习等。

论文链接：https://arxiv.org/pdf/2001.06137.pdf

本文是发表在ICLR2020上针对图数据做节点半监督分类任务的论文。现有的算法解决图上节点分类问题一般使用传统的可监督的图卷积方法，但是当标签数据不足时，性能可能会大大降低。因此论文提出了一种图推理学习（GIL）框架，通过学习图拓扑上的节点标签推理来提高半监督节点分类的性能。为了更好的刻画两个节点之间的连接，论文通过将节点属性，节点间路径和局部拓扑结构封装在一起来正式定义结构关系，从而可以方便地从一个节点推导到另一个节点。为了学习推理过程，论文进一步介绍了从训练节点到验证节点的结构关系的元优化，从而使学习到的图推理能力可以更好地适应测试节点。对四个基准数据集（包括Cora，Citeseer，Pubmed和NELL）的综合评估表明，与半监督节点分类任务中的最新技术相比，GIL具有优越性。

1、Motivation

论文提出了一种图推理学习（GIL）框架，以指导模型本身从参考标记节点自适应地推断那些查询未标记节点，并在少数情况下提高半监督节点分类的性能。标记的样品。给定一个输入图，GIL尝试通过建立节点间关系从那些观察到的节点中推断出未标记的节点。节点间关系的结构是节点属性，连接路径和图形拓扑结构的集成。这意味着两个节点之间的相似性是从三个方面决定的：节点属性的一致性，局部拓扑结构的一致性以及节点间路径的可达性，如图1所示。为了高级特征提取，其中的节点以及其中节点的属性都通过图卷积联合编码。对于节点间路径可达性，采用随机游走算法来获取给定图中从标记参考节点到查询未标记节点的特征。基于计算的节点表示和节点间可达性，可以通过计算从参考节点到图中未标记节点的相似得分/关系来获得结构关系。受近期元学习策略的启发，作者认为如果模型学习了从训练集到验证集的结构关系推断，可以有益于学习模型的泛化能力。换句话说，论文提出的GIL试图学习从训练样本到验证样本的结构关系中潜在的一些可移植知识，从而使所学习的结构关系可以更好地适应新的测试阶段。

2、Model

本文提出的GIL模型包含三个模块，分别为对于各个节点，通过如GCN等算法编码节点自身的属性信息和周围的邻居的信息，然后通过算法确定两个节点的可达性后，通过已标记节点的信息推导出带确定节点的标签信息。

为了方便推断，论文专门在拓扑图上的两个节点之间建立了结构关系。将标记的顶点（在训练集中）视为参考节点，它们的信息可以传播到那些未标记的顶点中，以提高标记预测的准确性。形式上，给定参考节点vi∈VLabel，论文定义类似于vi的查询节点vj的得分：

Gvi 和Gvj分别为节点vi和vj的邻居子图，由于本文是对节点做一个多分类任务，因此类和节点的关系如下表示：

我们在下面综述一下整个模型的过程：

（1）节点表示

本文通过对各个节点的子图执行图卷积运算来提取顶点vi处的局部表示。类似于栅格化图像/视频，在栅格化图像/视频上，局部卷积核被定义为具有各种接受场的多个晶格，在文本的工作中，频谱图卷积用于编码输入图的局部表示。即对每个节点的子图，都进行类似于GCN的卷积操作以编码各个节点周围的邻居信息。

（2）路径可达性

在这里，我们通过在图上采用随机游走来计算从顶点i到顶点j的路径的概率，这是指根据概率矩阵P从vi到vj遍历图。从顶点i到顶点j的节点序列是图上的随机游动，可以通过考虑图顶点的集合将其建模为经典的马尔可夫链。为了表示该公式，我们表明P t是在t步中从顶点vi到达顶点vj的概率。通过考虑从顶点vi到顶点vj的t步路径，首先采取单步到某个顶点h，然后对tj采取t−1步，就很容易体现这一事实。

最后，从vi到vj的节点可达性可以写成dp维向量：

（3）节点分类

为了定义对于查询节点来说，周围各个已标记节点的贡献，本文同时考虑了节点间路径可达性，节点对之间的子图表示。然后通过加权和计算查询节点的节点表示，最后拼接周围节点的加权结果表示和查询节点本身的节点表示，通过一个全连接层，输出为标签类别数。

（4）推导学习

模型的损失函数即为如下的多分类损失函数：

由于我们期待在训练集上训练良好的模型在验证集上仍然能有较好的表现，因此本文现在训练集上进行模型参数的梯度下降：

然后再在验证集上进一步的进行梯度下降：

在训练过程中，文章从训练节点和验证节点执行批量采样，而不是一次训练所有数据。在测试阶段，我们可以获取所有训练节点像训练过程一样进行模型更新。更新后的模型用作最终模型，推断那些查询节点的类标签。

3、Experiment

（1）模型比较

论文在四个数据集，包括Cora、Citeseer、Pubmed、NELL上与DeepWalk、GCN等经典模型进行了比较，结果显示模型的准确性有了显著的提升，它证明了文章提出的GIL通过构建图推理学习过程在各种图数据集上表现良好，其中有限的标签信息和图结构可以很好地用于预测框架中。

（2）模型分析

下表展示了经典的GCN模型以及我们提出的GIL模型只在训练集上进行训练和同时使用训练集和验证集进行训练的结果比较，可以看到，在使用验证集的数据后，模型有一个显著的提升，这表明可以通过元优化来学习良好的推理能力。值得注意的是，GIL采用了元优化策略来学习推理模型，这是一个从训练集迁移到验证集的过程。换句话说，验证集仅用于教导模型本身如何转移到看不见的数据。相比之下，常规方法通常采用验证集来调整特定模型的参数。

4、结论

在这项工作中，本文使用图推理学习方法解决了半监督节点分类任务，该方法可以在端到端框架中更好地预测这些未标记节点的类别。本文建立结构关系以获得任何两个图节点之间的连接，其中节点属性，节点间路径和图结构信息可以封装在一起。为了更好地捕获可转移的知识，本文的方法进一步学习了将挖掘的知识从训练样本转移到验证集，最终提高了测试集中未标记节点的标签的预测准确性。广泛的实验结果证明了论文提出的GIL在解决半监督学习问题方面的有效性，即使是在几次尝试中也是如此。将来，我们将扩展图推理方法以处理更多与图相关的任务，例如图生成和社交网络分析。