Graph Neural Networks (GNNs) rely on the graph structure to define an aggregation strategy where each node updates its representation by combining information from its neighbours. A known limitation of GNNs is that, as the number of layers increases, information gets smoothed and squashed and node embeddings become indistinguishable, negatively affecting performance. Therefore, practical GNN models employ few layers and only leverage the graph structure in terms of limited, small neighbourhoods around each node. Inevitably, practical GNNs do not capture information depending on the global structure of the graph. While there have been several works studying the limitations and expressivity of GNNs, the question of whether practical applications on graph structured data require global structural knowledge or not, remains unanswered. In this work, we empirically address this question by giving access to global information to several GNN models, and observing the impact it has on downstream performance. Our results show that global information can in fact provide significant benefits for common graph-related tasks. We further identify a novel regularization strategy that leads to an average accuracy improvement of more than 5% on all considered tasks.


翻译:神经网络图(GNNs)依靠图形结构来界定一个汇总战略,每个节点都通过合并邻国提供的信息来更新其代表性。GNNs已知的局限性是,随着层层数的增加,信息会变得平滑,被压扁,结点嵌入会变得无法区分,从而对性能产生不利影响。因此,实用的GNN模式只使用几层,而只能从每个节点周围的有限小街区的角度来利用图形结构。不可避免的是,实用的GNNs不会根据图表的全球结构来获取信息。虽然已经研究了一些GNs的局限性和直观性,但是关于图形结构数据的实际应用是否需要全球结构知识的问题仍然没有答案。在这项工作中,我们通过将全球信息提供给若干GNN模式,观察其对下游业绩的影响,从实践中处理这个问题。我们的结果表明,全球信息实际上可以为共同的图形相关任务带来重大的好处。我们进一步确定了一个新的规范化战略,它导致所有考虑的任务的平均精确度提高5%以上。

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
【IJCAJ 2020】多通道神经网络 Multi-Channel Graph Neural Networks
专知会员服务
25+阅读 · 2020年7月19日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
31+阅读 · 2020年4月15日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Arxiv
27+阅读 · 2020年6月19日
已删除
Arxiv
32+阅读 · 2020年3月23日
Graph Analysis and Graph Pooling in the Spatial Domain
Arxiv
5+阅读 · 2019年6月5日
Arxiv
23+阅读 · 2018年10月1日
VIP会员
相关VIP内容
相关资讯
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
相关论文
Arxiv
27+阅读 · 2020年6月19日
已删除
Arxiv
32+阅读 · 2020年3月23日
Graph Analysis and Graph Pooling in the Spatial Domain
Arxiv
5+阅读 · 2019年6月5日
Arxiv
23+阅读 · 2018年10月1日
Top
微信扫码咨询专知VIP会员