论文浅尝 | GMNN: Graph Markov Neural Networks

2020 年 2 月 14 日 开放知识图谱
论文浅尝 | GMNN: Graph Markov Neural Networks

论文笔记整理:吴锐,东南大学硕士研究生,研究方向为自然语言处理


 

     

来源:ICML 2019

链接:http://proceedings.mlr.press/v97/qu19a/qu19a.pdf

 

  1. 问题定义

弱监督下的在关系数据中的对象分类。形式化地来说,给定一个图G,图上有结点V表示一系列对象,在对象间存在有一系列边E,且每个结点都有对应的属性XV。当前已知部分结点L的标签,目的是推测出剩余结点U的标签值。

             

 

  1. 相关工作

该问题当前主要可以从两个方向进行研究:

1)统计关系学习(SRL, Statistical Relational Learning)

以统计模型来对关系数据进行建模,代表性的方法有条件马尔可夫网络(relational Markov networks)和马尔可夫逻辑网(Markov logic networks)。这些方法通常使用条件随机场来对对象之间的依赖关系进行建模,也正是因为这种建模的有效性,这些方法能够在弱监督的对象分类上取得不错的效果。

2)图神经网络(GNN, Graph Neural Network)

通过非线性的神经结构,能够以端到端的方式学习到有效的对象表示(representation),从而解决对象分类的问题。例如图卷积网络(graph convolutional networks)可以有效地将周围结点的信息学习到结点的表示当中。这类方法由于能够有效地从关系数据中学习到对象的表示,目前已经达到了SOTA的表现。

 

  1. 存在的问题

在传统的统计关系学习方法中,存在着以下缺陷:

1) 由于这些方法通常采用CRF进行建模,因此需要手动地构造一些特征函数来作为势函数的组成部分,而这些特征函数往往是启发式的,从而导致了模型的能力有限;

2) 由于对象之间关系结构的复杂性,导致难以推理(inference)出未知标签的结点U的后验分布(posterior distribution)。

在图神经网络的方法中,由于各个结点的标签是根据相关的表示分别预测的,因此忽略了各个结点的标签之间的依赖性

 

  1. 方法

提出图马尔可夫神经网络(GMNN, Graph Markov Neural Network),结合了SRL与GNN的优点,既能够学习到有效的结点表示,也能够对结点标签之间的依赖进行建模。

             

具体来说,GMNN仍然以CRF对已知结点标签之间的联合条件概率分布(以所有结点的属性为条件)进行建模。

             

该模型可以有效且高效地通过变分EM框架进行优化,在推断(E步)与学习(M步)中不断交替、迭代。

             

在E步中,由于具体的后验分布是难以计算的,因此引入了平均场近似(mean-field approximation)。

             

受摊还推断(amortized inference)的启发,同样使用一个GNN来参数化结点标签的后验分布,该GNN能够学习到有利于标签预测的结点的表示。

             

目标函数如下:

             

             

             

可以理解用变分的方法,不断减小q与真实的后验分布之间的KL散度,使得q不断逼近真实的后验分布(式11),同时由于部分已知标签的存在,因此该部分结点标签的概率分布直接使用真实值即可(式12)。

E步的形式化过程如下图:

             

 

 

在M步中,由于直接优化似然函数存在困难,因此以优化伪似然(pseudolikelihood)的方式来代替极大似然方法。

             

用一个GNN来参数化局部的结点标签的条件概率分布。

             

这样就能够对结点标签之间的依赖性进行建模,并且不需要手动构建势函数。目标函数如下:

             

M步的形式化过程如下图:

             

 

具体的优化算法如下:

             


 


 

OpenKG


开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文,进入 OpenKG 博客。

登录查看更多
19

相关内容

题目: Stochastic Graph Neural Networks

简介:

图神经网络(GNN)对图数据中的非线性表示进行建模,并在分布式智能体协调,控制和规划等方面进行了应用。当前的GNN架构假设理想情况,并且忽略由于环境,人为因素或外部攻击而发生的波动。在这些情况下,如果未考虑拓扑随机性,则GNN无法解决其分布式任务。为了克服这个问题,我们提出了随机图神经网络(SGNN)模型:一种GNN,其中分布式图卷积模块解决了随机网络的变化。由于随机性引入了新的学习范式,因此我们对SGNN输出方差进行统计分析,以识别学习滤波器为实现向扰动场景的鲁棒转移而应满足的条件,最终揭示随机链路损耗的显式影响。我们进一步为SGNN开发了基于随机梯度下降(SGD)的学习过程,并推导了学习速率收敛的条件,在该条件下该学习过程收敛于平稳点。数值结果证实了我们的理论研究,并将SGNN鲁棒与传统GNN的优势进行了比较,后者在学习过程中忽略了图形扰动。

成为VIP会员查看完整内容
0
46

题目: Graph Random Neural Networks

摘要:

图神经网络(GNNs)将深度学习方法推广到图结构数据中,在图形挖掘任务中表现良好。然而,现有的GNN常常遇到具有标记节点的复杂图结构,并受到非鲁棒性、过度平滑和过拟合的限制。为了解决这些问题,本文提出了一个简单而有效的GNN框架——图随机神经网络(Grand)。与现有GNNs中的确定性传播不同,Grand采用随机传播策略来增强模型的鲁棒性。这种策略也很自然地使Grand能够将传播从特征转换中分离出来,减少了过度平滑和过度拟合的风险。此外,随机传播是图数据扩充的一种有效方法。在此基础上,利用无标记节点在多个扩展中的分布一致性,提高模型的泛化能力,提出了Grand的一致性正则化方法。在图形基准数据集上的大量实验表明,Grand在半监督的图形学习任务上显著优于最先进的GNN基线。最后,证明了它可以显著减轻过度平滑和过度拟合的问题,并且它的性能与鲁棒性相结合。

成为VIP会员查看完整内容
0
115

In Multi-Label Text Classification (MLTC), one sample can belong to more than one class. It is observed that most MLTC tasks, there are dependencies or correlations among labels. Existing methods tend to ignore the relationship among labels. In this paper, a graph attention network-based model is proposed to capture the attentive dependency structure among the labels. The graph attention network uses a feature matrix and a correlation matrix to capture and explore the crucial dependencies between the labels and generate classifiers for the task. The generated classifiers are applied to sentence feature vectors obtained from the text feature extraction network (BiLSTM) to enable end-to-end training. Attention allows the system to assign different weights to neighbor nodes per label, thus allowing it to learn the dependencies among labels implicitly. The results of the proposed model are validated on five real-world MLTC datasets. The proposed model achieves similar or better performance compared to the previous state-of-the-art models.

0
40
下载
预览

题目: Probabilistic Logic Neural Networks for Reasoning

摘要:

知识图谱推理的目的是通过对观测到的事实进行推理来预测缺失的事实,它在许多应用中起着至关重要的作用。传统的基于逻辑规则的方法和近年来的知识图谱嵌入方法都对这一问题进行了广泛的探讨。马尔可夫逻辑网络(MLN)是一种有原则的基于规则的逻辑方法,它能够利用一阶逻辑的领域知识,同时处理不确定性。然而,由于其复杂的图形结构,MLNs的推理通常是非常困难的。与MLNs不同的是,知识图的嵌入方法(如TransE、DistMult)学习有效的实体嵌入和关系嵌入进行推理,这样更有效、更高效。然而,他们无法利用领域知识。在本文中,我们提出了概率逻辑神经网络(pLogicNet),它结合了两种方法的优点。pLogicNet使用一阶逻辑的马尔可夫逻辑网络定义所有可能的三联体的联合分布,该网络可以通过变分EM算法进行有效优化。采用知识图谱嵌入模型推断缺失的三联体,根据观测到的三联体和预测到的三联体更新逻辑规则权值。在多个知识图谱的实验证明了pLogicNet在许多竞争基线上的有效性。

作者:

瞿锰是蒙特利尔学习算法研究所的一年级博士生,之前,在伊利诺伊大学香槟分校获得了硕士学位,此外,在北京大学获得了学士学位。主要研究方向为机器学习、贝叶斯深度学习、数据挖掘和自然语言处理。

成为VIP会员查看完整内容
0
82

Graph Convolutional Neural Networks (Graph CNNs) are generalizations of classical CNNs to handle graph data such as molecular data, point could and social networks. Current filters in graph CNNs are built for fixed and shared graph structure. However, for most real data, the graph structures varies in both size and connectivity. The paper proposes a generalized and flexible graph CNN taking data of arbitrary graph structure as input. In that way a task-driven adaptive graph is learned for each graph data while training. To efficiently learn the graph, a distance metric learning is proposed. Extensive experiments on nine graph-structured datasets have demonstrated the superior performance improvement on both convergence speed and predictive accuracy.

0
5
下载
预览
小贴士
相关资讯
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
开放知识图谱
20+阅读 · 2020年4月24日
Graph Neural Networks 综述
计算机视觉life
23+阅读 · 2019年8月13日
论文浅尝 | 学习开发知识图谱中的长期关系依赖 - ICML 2019
论文浅尝 | 时序与因果关系联合推理
开放知识图谱
24+阅读 · 2019年6月23日
论文浅尝 | 图神经网络综述:方法及应用
开放知识图谱
104+阅读 · 2019年2月14日
论文浅尝 | 用图网络做小样本学习
开放知识图谱
56+阅读 · 2018年6月30日
论文浅尝 | CFO: Conditional Focused Neural Question Answering
开放知识图谱
6+阅读 · 2017年12月15日
相关VIP内容
专知会员服务
115+阅读 · 2020年5月26日
【阿尔托大学】图神经网络,Graph Neural Networks,附60页ppt
专知会员服务
153+阅读 · 2020年4月26日
专知会员服务
93+阅读 · 2020年2月22日
相关论文
Ankit Pal,Muru Selvakumar,Malaikannan Sankarasubbu
40+阅读 · 2020年3月22日
Geometric Graph Convolutional Neural Networks
Przemysław Spurek,Tomasz Danel,Jacek Tabor,Marek Śmieja,Łukasz Struski,Agnieszka Słowik,Łukasz Maziarka
8+阅读 · 2019年9月11日
Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
Yikang Shen,Shawn Tan,Alessandro Sordoni,Aaron Courville
3+阅读 · 2018年11月21日
Yao Ma,Ziyi Guo,Zhaochun Ren,Eric Zhao,Jiliang Tang,Dawei Yin
15+阅读 · 2018年10月24日
Interpretable Convolutional Neural Networks via Feedforward Design
C. -C. Jay Kuo,Min Zhang,Siyang Li,Jiali Duan,Yueru Chen
4+阅读 · 2018年10月5日
Keyulu Xu,Weihua Hu,Jure Leskovec,Stefanie Jegelka
18+阅读 · 2018年10月1日
Liang Yao,Chengsheng Mao,Yuan Luo
12+阅读 · 2018年9月15日
Zhi-Xiu Ye,Zhen-Hua Ling
4+阅读 · 2018年5月10日
Petar Veličković,Guillem Cucurull,Arantxa Casanova,Adriana Romero,Pietro Liò,Yoshua Bengio
8+阅读 · 2018年2月4日
Ruoyu Li,Sheng Wang,Feiyun Zhu,Junzhou Huang
5+阅读 · 2018年1月10日
Top
微信扫码咨询专知VIP会员