图灵奖得主Bengio提出并开源图马尔科夫神经网络 | ICML2019

---

  新智元推荐  

来源：机器学习blog（ID：mlanddlanddm）

【新智元导读】本文主要研究关系数据中的半监督对象分类，该问题在关系数据建模中是比较基本的问题。在基于统计的关系学习（如关系马尔科夫网络）和图神经网络（如图卷积网络）的相关文献中，对该问题进行了广泛的研究。

基于统计的关系学习方法，利用条件随机场能够学习对象标签之间的依赖性，然后进行集体分类，而图神经网络能够进行端到端的训练。这篇文章提出了图马尔科夫神经网络（GMNN），该网络能够结合二者的优势。

题目：GMNN: Graph Markov Neural Networks

作者：Meng Qu，Yoshua Bengio，Jian Tang

Montreal Institute for Learning Algorithms (MILA), University of Montreal, Canadian Institute for Advanced Research (CIFAR), HEC Montreal

论文地址：http://proceedings.mlr.press/v97/qu19a/qu19a.pdf

GMNN用条件随机场对对象标签的联合分布进行建模，其中条件随机场能够利用变分EM（期望最大）算法进行有效训练。

在E -Step中，图神经网络能够学到有效的对象表示，该表示能够近似对象标签的后验分布。在M -Step中，另一个图神经网络用于对局部标签依赖进行建模。

在对象分类、链路分类和无监督节点表示学习上的实验表明，GMNN 取得了最好的结果。

基于条件随机场的方法有一些不足，比如

（1）这些方法通常将条件随机字段中的势函数定义为某些人工设计的特征函数的线性组合，这些函数是启发式的。而且，这种模型的表达能力比较有限。

（2）由于对象之间的关系结构比较复杂，对未标记对象的标签的后验分布进行推断仍然具有一定的挑战性。

基于图的神经网络也有一些不足，一个关键的限制即为对象的标签是根据其表示形式独立预测的，如此一来，对象标签之间的联合依赖项会被忽略。

在变分EM框架中，E-step用于推理，M-step用于学习。在学习过程中，GMNN的训练过程不是最大化似然函数，而是优化伪似然函数，并利用图神经网络对对象标签的局部条件分布进行建模。这种图神经网络能够比较好地学习对象标签的依赖性，并且不需要人工设计势函数。

在推理过程中，由于精确推理比较难解，可以利用均值场近似值来解决。

受摊销推理的启发，作者们利用另一个图神经网络对对象标签的后验分布进行建模， 进而可以学习有用的对象表示用于预测对象的标签。在推理过程中，利用图神经网络，可以显著减少参数的数量，并且在推理中的不同对象之间可以共享统计证据。

半监督对象分类的问题描述如下

简言之即为，已知部分标签推测未知的标签。

在统计关系学习中，问题描述如下

在图神经网络中，问题描述如下

由于很多对象的标签是未知的，因此可以将最大化对数似然函数转化为求其证据下界（ELBO），此时求解可以交替执行变分E-Step和M-Step。

为了避免计算配分函数，可以优化下面的伪似然函数，该似然函数基于样本点的邻域样本集。

在推理过程中，由于标签之间的复杂依赖关系，直接推理后验分布比较难，因此可以基于平均场方法来解决。

对于未知标签的对象，利用采样来得到，而对于已知标签的对象，直接利用其真实标签。实际情况中利用一个采样即可。

在学习过程中只需要学习条件分布，不需要人工特征。

为了对不同对象之间的长程依赖进行建模，可以利用多信息传输层。

优化算法伪代码如下

整体框架图示如下

在实验中，针对对象分类任务，每个类中有20个有标签的样本，度量标准为准确率。

数据集信息统计如下

对象分类中几种算法的效果对比如下

无监督节点表示学习中几种算法效果对比如下

在对象分类问题中，参数设置如下

无监督节点表示学习中参数设置如下

链接分类中参数设置如下

链接分类问题中几种方法的效果对比如下

不同结构下摊销推理的结果对比如下

收敛性分析图示如下，容易看出收敛速度很快

代码地址

https://github.com/DeepGraphLearning/GMNN

本文经授权转载自“ 机器学习blog”   原创：  FrankLearningMachine