题目: Stochastic Graph Neural Networks

简介:

图神经网络(GNN)对图数据中的非线性表示进行建模,并在分布式智能体协调,控制和规划等方面进行了应用。当前的GNN架构假设理想情况,并且忽略由于环境,人为因素或外部攻击而发生的波动。在这些情况下,如果未考虑拓扑随机性,则GNN无法解决其分布式任务。为了克服这个问题,我们提出了随机图神经网络(SGNN)模型:一种GNN,其中分布式图卷积模块解决了随机网络的变化。由于随机性引入了新的学习范式,因此我们对SGNN输出方差进行统计分析,以识别学习滤波器为实现向扰动场景的鲁棒转移而应满足的条件,最终揭示随机链路损耗的显式影响。我们进一步为SGNN开发了基于随机梯度下降(SGD)的学习过程,并推导了学习速率收敛的条件,在该条件下该学习过程收敛于平稳点。数值结果证实了我们的理论研究,并将SGNN鲁棒与传统GNN的优势进行了比较,后者在学习过程中忽略了图形扰动。

成为VIP会员查看完整内容
0
42

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

题目: Continuous Graph Neural Networks

摘要:

本文建立了图神经网络与传统动力系统之间的联系。我们提出了持续图神经网络(CGNN),它将现有的图神经网络与离散动力学进行了一般化,因为它们可以被视为一种特定的离散化方案。关键思想是如何表征节点表示的连续动力学,即关于时间的节点表示的导数。受现有的基于扩散的图方法(如社交网络上的PageRank和流行模型)的启发,我们将导数定义为当前节点表示、邻节点表示和节点初始值的组合。我们提出并分析了两种可能的动态图,包括节点表示的每个维度(又名特征通道)各自改变或相互作用的理论证明。所提出的连续图神经网络在过度平滑方面具有很强的鲁棒性,因此允许我们构建更深层次的网络,进而能够捕获节点之间的长期依赖关系。在节点分类任务上的实验结果证明了我们提出的方法在和基线对比的有效性。

介绍

图神经网络(GNNs)由于其在节点分类等多种应用中的简单性和有效性而受到越来越多的关注;、链接预测、化学性质预测、自然语言理解。GNN的基本思想是设计多个图传播层,通过聚合邻近节点的节点表示和节点本身的表示,迭代地更新每个节点表示。在实践中,对于大多数任务,几层(两层或三层)通常就足够了,更多的层可能导致较差的性能。

改进GNNs的一个关键途径是能够建立更深层次的网络,以了解数据和输出标签之间更复杂的关系。GCN传播层平滑了节点表示,即图中相邻的节点变得更加相似。当我们堆叠越来越多的层时,这会导致过度平滑,这意味着节点表示收敛到相同的值,从而导致性能下降。因此,重要的是缓解节点过平滑效应,即节点表示收敛到相同的值。

此外,对于提高我们对GNN的理论理解,使我们能够从图结构中描述我们可以学到的信号,这是至关重要的。最近关于理解GCN的工作(Oono和Suzuki, 2020)认为GCN是由离散层定义的离散动力系统。此外,Chen等人(2018)证明了使用离散层并不是构建神经网络的唯一视角。他们指出,带有剩余连接的离散层可以看作是连续ODE的离散化。他们表明,这种方法具有更高的记忆效率,并且能够更平滑地建模隐藏层的动态。

我们利用基于扩散方法的连续视角提出了一种新的传播方案,我们使用来自常微分方程(即连续动力系统)的工具进行分析。事实上,我们能够解释我们的模型学习了什么表示,以及为什么它不会遭受在GNNs中常见的过度平滑问题。允许我们建立更深层次的网络,也就是说我们的模型在时间价值上运行良好。恢复过平滑的关键因素是在连续设置中使用了最初在PageRank中提出的原始分布。直观上,重新开始分布有助于不忘记邻接矩阵的低幂次信息,从而使模型收敛到有意义的平稳分布。

本文的主要贡献是:

  • 基于PageRank和扩散方法,提出了两个连续递增模型容量的ODEs;
  • 我们从理论上分析了我们的层学习的表示,并表明当t → ∞我们的方法接近一个稳定的不动点,它捕获图结构和原始的节点特征。因为我们在t→∞时是稳定的,我们的网络可以有无限多个“层”,并且能够学习远程依赖关系;
  • 我们证明了我们的模型的记忆是高效的,并且对t的选择是具有鲁棒性的。除此之外,我们进一步证明了在节点分类任务上,我们的模型能够比许多现有的最先进的方法表现更好。
成为VIP会员查看完整内容
0
89

当前的图神经网络(GNN)简单地将节点嵌入到聚合的图表示中——可能会丢失结构或语义信息。我们在这里介绍了OT-GNN,它通过GNN节点嵌入集合与“原型”点云之间的最佳传输距离作为自由参数来计算图嵌入。这允许不同的原型突出显示不同图子部分的关键方面。证明了点云上的函数类满足一个通用的近似定理,这是一个由于和和而失去的基本性质。然而,根据经验,该模型在训练过程中有一种崩溃回标准聚合的自然趋势。我们通过提出一种有效的噪声对比调节器来解决这一优化问题,从而使模型朝着真正挖掘最优运输几何的方向发展。我们的模型在几个分子性质预测任务上始终表现出更好的泛化性能,也产生更平滑的表示。

成为VIP会员查看完整内容
0
37

题目: Graph Random Neural Networks

摘要:

图神经网络(GNNs)将深度学习方法推广到图结构数据中,在图形挖掘任务中表现良好。然而,现有的GNN常常遇到具有标记节点的复杂图结构,并受到非鲁棒性、过度平滑和过拟合的限制。为了解决这些问题,本文提出了一个简单而有效的GNN框架——图随机神经网络(Grand)。与现有GNNs中的确定性传播不同,Grand采用随机传播策略来增强模型的鲁棒性。这种策略也很自然地使Grand能够将传播从特征转换中分离出来,减少了过度平滑和过度拟合的风险。此外,随机传播是图数据扩充的一种有效方法。在此基础上,利用无标记节点在多个扩展中的分布一致性,提高模型的泛化能力,提出了Grand的一致性正则化方法。在图形基准数据集上的大量实验表明,Grand在半监督的图形学习任务上显著优于最先进的GNN基线。最后,证明了它可以显著减轻过度平滑和过度拟合的问题,并且它的性能与鲁棒性相结合。

成为VIP会员查看完整内容
0
103

芬兰阿尔托大学CSE4890深度学习课程第7讲:图神经网络,由Alexander Ilin主讲,全面详细地介绍了GNN的背景动机、GCN、循环关系网络、通用网络。

成为VIP会员查看完整内容
0
139

题目: MEMORY-BASED GRAPH NETWORKS

摘 要:

图神经网络是一类对任意拓扑结构的数据进行操作的深度模型。我们为GNNs引入了一个有效的记忆层,它可以联合学习节点表示并对图进行粗化。在此基础上,我们还引入了两个新的网络:基于记忆的GNN (MemGNN)和可以学习层次图表示的图存储网络(GMN)。实验结果表明,所提出的模型在9个图分类和回归基准中有8个达到了最新的结果。我们也证明了这些表示学习可以对应于分子数据中的化学特征。

成为VIP会员查看完整内容
0
90

题目: Tensor Graph Convolutional Networks for Text Classification

摘要: 文本分类是自然语言处理中一个重要而经典的问题。已有许多研究将卷积神经网络(如规则网格上的卷积,序列)应用于分类。然而,只有有限数量的研究已经探索了更灵活的图卷积神经网络(卷积在非网格上,例如,任意图)的任务。在这项工作中,我们建议使用图卷积网络进行文本分类。基于词的共现关系和文档词之间的关系,我们为一个语料库建立一个文本图,然后学习一个文本图卷积网络(text GCN)。我们的文本GCN使用word和document的一个热表示进行初始化,然后在已知文档类标签的监督下,共同学习word和document的嵌入。我们在多个基准数据集上的实验结果表明,没有任何外部单词嵌入或知识的普通文本GCN优于最新的文本分类方法。另一方面,文本GCN还学习预测词和文档嵌入。此外,实验结果表明,随着训练数据百分比的降低,文本GCN相对于现有比较方法的改进变得更加突出,这表明文本GCN对文本分类中较少的训练数据具有鲁棒性。

成为VIP会员查看完整内容
0
64

Graphs, which describe pairwise relations between objects, are essential representations of many real-world data such as social networks. In recent years, graph neural networks, which extend the neural network models to graph data, have attracted increasing attention. Graph neural networks have been applied to advance many different graph related tasks such as reasoning dynamics of the physical system, graph classification, and node classification. Most of the existing graph neural network models have been designed for static graphs, while many real-world graphs are inherently dynamic. For example, social networks are naturally evolving as new users joining and new relations being created. Current graph neural network models cannot utilize the dynamic information in dynamic graphs. However, the dynamic information has been proven to enhance the performance of many graph analytical tasks such as community detection and link prediction. Hence, it is necessary to design dedicated graph neural networks for dynamic graphs. In this paper, we propose DGNN, a new {\bf D}ynamic {\bf G}raph {\bf N}eural {\bf N}etwork model, which can model the dynamic information as the graph evolving. In particular, the proposed framework can keep updating node information by capturing the sequential information of edges, the time intervals between edges and information propagation coherently. Experimental results on various dynamic graphs demonstrate the effectiveness of the proposed framework.

0
15
下载
预览
小贴士
相关资讯
论文浅尝 | GMNN: Graph Markov Neural Networks
开放知识图谱
17+阅读 · 2020年2月14日
【NeurIPS2019】图变换网络:Graph Transformer Network
GraphSAGE: GCN落地必读论文
AI100
23+阅读 · 2019年8月15日
Graph Neural Networks 综述
计算机视觉life
21+阅读 · 2019年8月13日
图神经网络火了?谈下它的普适性与局限性
机器之心
17+阅读 · 2019年7月29日
重新思考图卷积网络:GNN只是一种滤波器
新智元
26+阅读 · 2019年6月3日
掌握图神经网络GNN基本,看这篇文章就够了
新智元
151+阅读 · 2019年2月14日
Sparsifying Neural Network Connections for Face Recognition
统计学习与视觉计算组
4+阅读 · 2017年6月10日
相关论文
Hyper-SAGNN: a self-attention based graph neural network for hypergraphs
Ruochi Zhang,Yuesong Zou,Jian Ma
12+阅读 · 2019年11月6日
Tensor Graph Convolutional Networks for Prediction on Dynamic Graphs
Osman Asif Malik,Shashanka Ubaru,Lior Horesh,Misha E. Kilmer,Haim Avron
6+阅读 · 2019年10月16日
Aravind Sankar,Yanhong Wu,Liang Gou,Wei Zhang,Hao Yang
41+阅读 · 2019年6月15日
HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs
Naganand Yadati,Madhav Nimishakavi,Prateek Yadav,Vikram Nitin,Anand Louis,Partha Talukdar
9+阅读 · 2019年5月22日
Luca Franceschi,Mathias Niepert,Massimiliano Pontil,Xiao He
4+阅读 · 2019年5月17日
Wenqi Fan,Yao Ma,Qing Li,Yuan He,Eric Zhao,Jiliang Tang,Dawei Yin
7+阅读 · 2019年2月19日
Liang Yao,Chengsheng Mao,Yuan Luo
26+阅读 · 2018年11月13日
Yao Ma,Ziyi Guo,Zhaochun Ren,Eric Zhao,Jiliang Tang,Dawei Yin
15+阅读 · 2018年10月24日
Philip Schulz,Wilker Aziz,Trevor Cohn
5+阅读 · 2018年5月28日
Ruoyu Li,Sheng Wang,Feiyun Zhu,Junzhou Huang
5+阅读 · 2018年1月10日
Top