题目: Graph Random Neural Networks

摘要:

图神经网络(GNNs)将深度学习方法推广到图结构数据中,在图形挖掘任务中表现良好。然而,现有的GNN常常遇到具有标记节点的复杂图结构,并受到非鲁棒性、过度平滑和过拟合的限制。为了解决这些问题,本文提出了一个简单而有效的GNN框架——图随机神经网络(Grand)。与现有GNNs中的确定性传播不同,Grand采用随机传播策略来增强模型的鲁棒性。这种策略也很自然地使Grand能够将传播从特征转换中分离出来,减少了过度平滑和过度拟合的风险。此外,随机传播是图数据扩充的一种有效方法。在此基础上,利用无标记节点在多个扩展中的分布一致性,提高模型的泛化能力,提出了Grand的一致性正则化方法。在图形基准数据集上的大量实验表明,Grand在半监督的图形学习任务上显著优于最先进的GNN基线。最后,证明了它可以显著减轻过度平滑和过度拟合的问题,并且它的性能与鲁棒性相结合。

成为VIP会员查看完整内容
0
114

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

摘要

图神经网络(GNNs)已被证明在建模图结构的数据方面是强大的。然而,训练GNN通常需要大量指定任务的标记数据,获取这些数据的成本往往非常高。减少标记工作的一种有效方法是在未标记数据上预训练一个具有表达能力的GNN模型,并进行自我监督,然后将学习到的模型迁移到只有少量标记的下游任务中。在本文中,我们提出了GPT-GNN框架,通过生成式预训练来初始化GNN。GPT-GNN引入了一个自监督属性图生成任务来预训练一个GNN,使其能够捕获图的结构和语义属性信息。我们将图生成的概率分解为两部分:1)属性生成和2)边生成。通过对两个组件进行建模,GPT-GNN捕捉到生成过程中节点属性与图结构之间的内在依赖关系。在10亿规模的开放学术图和亚马逊推荐数据上进行的综合实验表明,GPT-GNN在不经过预训练的情况下,在各种下游任务中的表现显著优于最先进的GNN模型,最高可达9.1%。

**关键词:**生成式预训练,图神经网络,图表示学习,神经嵌入,GNN预训练

成为VIP会员查看完整内容
0
80

题目: Continuous Graph Neural Networks

摘要:

本文建立了图神经网络与传统动力系统之间的联系。我们提出了持续图神经网络(CGNN),它将现有的图神经网络与离散动力学进行了一般化,因为它们可以被视为一种特定的离散化方案。关键思想是如何表征节点表示的连续动力学,即关于时间的节点表示的导数。受现有的基于扩散的图方法(如社交网络上的PageRank和流行模型)的启发,我们将导数定义为当前节点表示、邻节点表示和节点初始值的组合。我们提出并分析了两种可能的动态图,包括节点表示的每个维度(又名特征通道)各自改变或相互作用的理论证明。所提出的连续图神经网络在过度平滑方面具有很强的鲁棒性,因此允许我们构建更深层次的网络,进而能够捕获节点之间的长期依赖关系。在节点分类任务上的实验结果证明了我们提出的方法在和基线对比的有效性。

介绍

图神经网络(GNNs)由于其在节点分类等多种应用中的简单性和有效性而受到越来越多的关注;、链接预测、化学性质预测、自然语言理解。GNN的基本思想是设计多个图传播层,通过聚合邻近节点的节点表示和节点本身的表示,迭代地更新每个节点表示。在实践中,对于大多数任务,几层(两层或三层)通常就足够了,更多的层可能导致较差的性能。

改进GNNs的一个关键途径是能够建立更深层次的网络,以了解数据和输出标签之间更复杂的关系。GCN传播层平滑了节点表示,即图中相邻的节点变得更加相似。当我们堆叠越来越多的层时,这会导致过度平滑,这意味着节点表示收敛到相同的值,从而导致性能下降。因此,重要的是缓解节点过平滑效应,即节点表示收敛到相同的值。

此外,对于提高我们对GNN的理论理解,使我们能够从图结构中描述我们可以学到的信号,这是至关重要的。最近关于理解GCN的工作(Oono和Suzuki, 2020)认为GCN是由离散层定义的离散动力系统。此外,Chen等人(2018)证明了使用离散层并不是构建神经网络的唯一视角。他们指出,带有剩余连接的离散层可以看作是连续ODE的离散化。他们表明,这种方法具有更高的记忆效率,并且能够更平滑地建模隐藏层的动态。

我们利用基于扩散方法的连续视角提出了一种新的传播方案,我们使用来自常微分方程(即连续动力系统)的工具进行分析。事实上,我们能够解释我们的模型学习了什么表示,以及为什么它不会遭受在GNNs中常见的过度平滑问题。允许我们建立更深层次的网络,也就是说我们的模型在时间价值上运行良好。恢复过平滑的关键因素是在连续设置中使用了最初在PageRank中提出的原始分布。直观上,重新开始分布有助于不忘记邻接矩阵的低幂次信息,从而使模型收敛到有意义的平稳分布。

本文的主要贡献是:

  • 基于PageRank和扩散方法,提出了两个连续递增模型容量的ODEs;
  • 我们从理论上分析了我们的层学习的表示,并表明当t → ∞我们的方法接近一个稳定的不动点,它捕获图结构和原始的节点特征。因为我们在t→∞时是稳定的,我们的网络可以有无限多个“层”,并且能够学习远程依赖关系;
  • 我们证明了我们的模型的记忆是高效的,并且对t的选择是具有鲁棒性的。除此之外,我们进一步证明了在节点分类任务上,我们的模型能够比许多现有的最先进的方法表现更好。
成为VIP会员查看完整内容
0
103

当前的图神经网络(GNN)简单地将节点嵌入到聚合的图表示中——可能会丢失结构或语义信息。我们在这里介绍了OT-GNN,它通过GNN节点嵌入集合与“原型”点云之间的最佳传输距离作为自由参数来计算图嵌入。这允许不同的原型突出显示不同图子部分的关键方面。证明了点云上的函数类满足一个通用的近似定理,这是一个由于和和而失去的基本性质。然而,根据经验,该模型在训练过程中有一种崩溃回标准聚合的自然趋势。我们通过提出一种有效的噪声对比调节器来解决这一优化问题,从而使模型朝着真正挖掘最优运输几何的方向发展。我们的模型在几个分子性质预测任务上始终表现出更好的泛化性能,也产生更平滑的表示。

成为VIP会员查看完整内容
0
47

题目: Stochastic Graph Neural Networks

简介:

图神经网络(GNN)对图数据中的非线性表示进行建模,并在分布式智能体协调,控制和规划等方面进行了应用。当前的GNN架构假设理想情况,并且忽略由于环境,人为因素或外部攻击而发生的波动。在这些情况下,如果未考虑拓扑随机性,则GNN无法解决其分布式任务。为了克服这个问题,我们提出了随机图神经网络(SGNN)模型:一种GNN,其中分布式图卷积模块解决了随机网络的变化。由于随机性引入了新的学习范式,因此我们对SGNN输出方差进行统计分析,以识别学习滤波器为实现向扰动场景的鲁棒转移而应满足的条件,最终揭示随机链路损耗的显式影响。我们进一步为SGNN开发了基于随机梯度下降(SGD)的学习过程,并推导了学习速率收敛的条件,在该条件下该学习过程收敛于平稳点。数值结果证实了我们的理论研究,并将SGNN鲁棒与传统GNN的优势进行了比较,后者在学习过程中忽略了图形扰动。

成为VIP会员查看完整内容
0
46

题目: Composition-Based Multi-Relational Graph Convolutional Networks

摘要: 图卷积网络(GCNs)最近被证明在对图结构数据建模方面是非常成功的。然而,主要的重点是处理简单的无向图。多关系图是一种更为普遍和流行的图,其中每条边都有一个与之相关的标签和方向。现有的大多数处理此类图的方法都存在参数过多的问题,并且仅限于学习节点的表示形式。在本文中,我们提出了一种新的图卷积框架COMP-GCN,它将节点和关系共同嵌入到一个关系图中。COMP-GCN利用知识图谱嵌入技术中的各种实体关系组合操作,并根据关系的数量进行扩展。它还概括了几种现有的多关系GCN方法。我们评估了我们提出的方法在多个任务,如节点分类,链接预测,和图分类,并取得了明显的结果。

成为VIP会员查看完整内容
0
93

机器学习的许多应用都需要一个模型来对测试样本做出准确的预测,这些测试样本在分布上与训练示例不同,而在训练期间,特定于任务的标签很少。应对这一挑战的有效方法是,在数据丰富的相关任务上对模型进行预训练,然后在下游任务上对其进行微调。尽管预训练在许多语言和视觉领域都是有效的,但是如何在图数据集上有效地使用预训练仍是一个有待解决的问题。本文提出了一种新的图神经网络训练策略和自监督方法。我们的策略成功的关键是在单个节点以及整个图的层次上预训练一个具有强表示能力的GNN,以便GNN能够同时学习有用的局部和全局表示。我们系统地研究了多类图分类数据集的预处理问题。我们发现,在整个图或单个节点级别上对GNN进行预训练的朴素策略改进有限,甚至可能导致许多下游任务的负迁移。相比之下,我们的策略避免了负迁移,显著提高了下游任务的泛化能力,使得ROC-AUC相对于未经训练的模型提高了9.4%,实现了分子特性预测和蛋白质功能预测的最好性能。

成为VIP会员查看完整内容
0
66

题目: MEMORY-BASED GRAPH NETWORKS

摘 要:

图神经网络是一类对任意拓扑结构的数据进行操作的深度模型。我们为GNNs引入了一个有效的记忆层,它可以联合学习节点表示并对图进行粗化。在此基础上,我们还引入了两个新的网络:基于记忆的GNN (MemGNN)和可以学习层次图表示的图存储网络(GMN)。实验结果表明,所提出的模型在9个图分类和回归基准中有8个达到了最新的结果。我们也证明了这些表示学习可以对应于分子数据中的化学特征。

成为VIP会员查看完整内容
0
92

题目: Tensor Graph Convolutional Networks for Text Classification

摘要: 文本分类是自然语言处理中一个重要而经典的问题。已有许多研究将卷积神经网络(如规则网格上的卷积,序列)应用于分类。然而,只有有限数量的研究已经探索了更灵活的图卷积神经网络(卷积在非网格上,例如,任意图)的任务。在这项工作中,我们建议使用图卷积网络进行文本分类。基于词的共现关系和文档词之间的关系,我们为一个语料库建立一个文本图,然后学习一个文本图卷积网络(text GCN)。我们的文本GCN使用word和document的一个热表示进行初始化,然后在已知文档类标签的监督下,共同学习word和document的嵌入。我们在多个基准数据集上的实验结果表明,没有任何外部单词嵌入或知识的普通文本GCN优于最新的文本分类方法。另一方面,文本GCN还学习预测词和文档嵌入。此外,实验结果表明,随着训练数据百分比的降低,文本GCN相对于现有比较方法的改进变得更加突出,这表明文本GCN对文本分类中较少的训练数据具有鲁棒性。

成为VIP会员查看完整内容
0
66

1、 Adversarial Graph Embedding for Ensemble Clustering

作者:Zhiqiang Tao , Hongfu Liu , Jun Li , ZhaowenWang and Yun Fu;

摘要:Ensemble Clustering通常通过图分区方法将基本分区集成到共识分区(consensus partition)中,但这种方法存在两个局限性: 1) 它忽略了重用原始特征; 2)获得具有可学习图表示的共识分区(consensus partition)仍未得到充分研究。在本文中,我们提出了一种新颖的对抗图自动编码器(AGAE)模型,将集成聚类结合到深度图嵌入过程中。具体地,采用图卷积网络作为概率编码器,将特征内容信息与共识图信息进行联合集成,并使用简单的内积层作为解码器,利用编码的潜变量(即嵌入表示)重建图。此外,我们还开发了一个对抗正则化器来指导具有自适应分区依赖先验的网络训练。通过对8个实际数据集的实验,证明了AGAE在几种先进的深度嵌入和集成聚类方法上的有效性。

网址:https://www.ijcai.org/proceedings/2019/0494.pdf

2、Attributed Graph Clustering via Adaptive Graph Convolution

作者:Xiaotong Zhang, Han Liu, Qimai Li and Xiao-Ming Wu;

摘要:Attributed Graph聚类是一项具有挑战性的工作,它要求对图结构和节点属性进行联合建模。图卷积网络的研究进展表明,图卷积能够有效地将结构信息和内容信息结合起来,近年来基于图卷积的方法在一些实际属性网络上取得了良好的聚类性能。然而,对于图卷积如何影响聚类性能以及如何正确地使用它来优化不同图的性能,人们的了解有限。现有的方法本质上是利用固定低阶的图卷积,只考虑每个节点几跳内的邻居,没有充分利用节点关系,忽略了图的多样性。本文提出了一种自适应图卷积方法,利用高阶图卷积捕获全局聚类结构,并自适应地为不同的图选择合适的顺序。通过对基准数据集的理论分析和大量实验,验证了该方法的有效性。实验结果表明,该方法与现有的方法相比具有较好的优越性。

网址:https://www.zhuanzhi.ai/paper/bae18963457b08322d58e01c90e8e467

3、Dynamic Hypergraph Neural Networks

作者:Jianwen Jiang , Yuxuan Wei , Yifan Feng , Jingxuan Cao and Yue Gao;

摘要:近年来,基于图/超图(graph/hypergraph)的深度学习方法引起了研究者的广泛关注。这些深度学习方法以图/超图结构作为模型的先验知识。然而,隐藏的重要关系并没有直接表现在内在结构中。为了解决这个问题,我们提出了一个动态超图神经网络框架(DHGNN),它由两个模块的堆叠层组成:动态超图构造(DHG)和超图卷积(HGC)。考虑到最初构造的超图可能不适合表示数据,DHG模块在每一层上动态更新超图结构。然后引入超图卷积对超图结构中的高阶数据关系进行编码。HGC模块包括两个阶段:顶点卷积和超边界卷积,它们分别用于聚合顶点和超边界之间的特征。我们已经在标准数据集、Cora引文网络和微博数据集上评估了我们的方法。我们的方法优于最先进的方法。通过更多的实验验证了该方法对不同数据分布的有效性和鲁棒性。

网址:https://www.ijcai.org/proceedings/2019/0366.pdf

4、Exploiting Interaction Links for Node Classification with Deep Graph Neural Networks

作者:Hogun Park and Jennifer Neville;

摘要:节点分类是关系机器学习中的一个重要问题。然而,在图边表示实体间交互的场景中(例如,随着时间的推移),大多数当前方法要么将交互信息汇总为链接权重,要么聚合链接以生成静态图。在本文中,我们提出了一种神经网络结构,它可以同时捕获时间和静态交互模式,我们称之为Temporal-Static-Graph-Net(TSGNet)。我们的主要观点是,利用静态邻居编码器(可以学习聚合邻居模式)和基于图神经网络的递归单元(可以捕获复杂的交互模式),可以提高节点分类的性能。在我们对节点分类任务的实验中,与最先进的方法相比,TSGNet取得了显著的进步——与四个真实网络和一个合成数据集中的最佳竞争模型相比,TSGNet的分类错误减少了24%,平均减少了10%。

网址:https://www.ijcai.org/proceedings/2019/0447.pdf

5、Fine-grained Event Categorization with Heterogeneous Graph Convolutional Networks

作者:Hao Peng, Jianxin Li, Qiran Gong, Yangqiu Song, Yuanxing Ning, Kunfeng Lai and Philip S. Yu;

摘要:事件在现实世界中实时发生,可以是涉及多个人和物体的计划和组织场合。社交媒体平台发布了大量包含公共事件和综合话题的文本消息。然而,由于文本中事件元素的异构性以及显式和隐式的社交网络结构,挖掘社会事件是一项具有挑战性的工作。本文设计了一个事件元模式来表征社会事件的语义关联,并构建了一个基于事件的异构信息网络(HIN),该网络融合了外部知识库中的信息,提出了一种基于对偶流行度图卷积网络(PP-GCN)的细粒度社会事件分类模型。我们提出了一种基于事件间社会事件相似度(KIES)的知识元路径实例,并建立了一个加权邻域矩阵作为PP-GCN模型的输入。通过对真实数据收集的综合实验,比较各种社会事件检测和聚类任务。实验结果表明,我们提出的框架优于其他可选的社会事件分类技术。

网址:https://www.zhuanzhi.ai/paper/65dbfd1c2b65d01b2db1b66a3b4efdb6

6、Graph Contextualized Self-Attention Network for Session-based Recommendation

作者:Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang and Xiaofang Zhou;

摘要:基于会话的推荐旨在预测用户基于匿名会话的下一步行动,是许多在线服务(比如电子商务,媒体流)中的关键任务。近年来,在不使用递归网络和卷积网络的情况下,自注意力网络(SAN)在各种序列建模任务中取得了显著的成功。然而,SAN缺乏存在于相邻商品上的本地依赖关系,并且限制了其学习序列中商品的上下文表示的能力。本文提出了一种利用图神经网络和自注意力机制的图上下文自注意力模型(GC-SAN),用于基于会话的推荐。在GC-SAN中,我们动态地为会话序列构造一个图结构,并通过图神经网络(GNN)捕获丰富的局部依赖关系。然后,每个会话通过应用自注意力机制学习长期依赖关系。最后,每个会话都表示为全局首选项和当前会话兴趣的线性组合。对两个真实数据集的大量实验表明,GC-SAN始终优于最先进的方法。

网址:https://www.ijcai.org/proceedings/2019/0547.pdf

7、Graph Convolutional Network Hashing for Cross-Modal Retrieval

作者:Ruiqing Xu , Chao Li , Junchi Yan , Cheng Deng and Xianglong Liu;

摘要:基于深度网络的跨模态检索近年来取得了显著的进展。然而,弥补模态差异,进一步提高检索精度仍然是一个关键的瓶颈。本文提出了一种图卷积哈希(GCH)方法,该方法通过关联图学习模态统一的二进制码。一个端到端深度体系结构由三个主要组件构成:语义编码模块、两个特征编码网络和一个图卷积网络(GCN)。我们设计了一个语义编码器作为教师模块来指导特征编码过程,即学生模块,用于语义信息的挖掘。此外,利用GCN研究数据点之间的内在相似性结构,有助于产生有区别的哈希码。在三个基准数据集上的大量实验表明,所提出的GCH方法优于最先进的方法。

网址:https://www.ijcai.org/proceedings/2019/0138.pdf

成为VIP会员查看完整内容
0
73
小贴士
相关资讯
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
9+阅读 · 2020年3月28日
论文浅尝 | GMNN: Graph Markov Neural Networks
开放知识图谱
19+阅读 · 2020年2月14日
图神经网络(Graph Neural Networks,GNN)综述
极市平台
70+阅读 · 2019年11月27日
Graph Neural Networks 综述
计算机视觉life
22+阅读 · 2019年8月13日
CNN已老,GNN来了!清华大学孙茂松组一文综述GNN
全球人工智能
12+阅读 · 2018年12月26日
相关论文
Filippo Maria Bianchi,Daniele Grattarola,Cesare Alippi
23+阅读 · 2020年6月3日
Hongwei Wang,Jure Leskovec
28+阅读 · 2020年2月17日
Simon S. Du,Kangcheng Hou,Barnabás Póczos,Ruslan Salakhutdinov,Ruosong Wang,Keyulu Xu
8+阅读 · 2019年11月4日
Geometric Graph Convolutional Neural Networks
Przemysław Spurek,Tomasz Danel,Jacek Tabor,Marek Śmieja,Łukasz Struski,Agnieszka Słowik,Łukasz Maziarka
8+阅读 · 2019年9月11日
Position-aware Graph Neural Networks
Jiaxuan You,Rex Ying,Jure Leskovec
9+阅读 · 2019年6月11日
HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs
Naganand Yadati,Madhav Nimishakavi,Prateek Yadav,Vikram Nitin,Anand Louis,Partha Talukdar
9+阅读 · 2019年5月22日
Luca Franceschi,Mathias Niepert,Massimiliano Pontil,Xiao He
16+阅读 · 2019年3月28日
Ruyue Xin,Jiang Zhang,Yitong Shao
5+阅读 · 2018年4月8日
Petar Veličković,Guillem Cucurull,Arantxa Casanova,Adriana Romero,Pietro Liò,Yoshua Bengio
7+阅读 · 2018年2月4日
Ruoyu Li,Sheng Wang,Feiyun Zhu,Junzhou Huang
5+阅读 · 2018年1月10日
Top