Graph Neural Networks (GNNs) have received considerable attention on graph-structured data learning for a wide variety of tasks. The well-designed propagation mechanism which has been demonstrated effective is the most fundamental part of GNNs. Although most of GNNs basically follow a message passing manner, litter effort has been made to discover and analyze their essential relations. In this paper, we establish a surprising connection between different propagation mechanisms with a unified optimization problem, showing that despite the proliferation of various GNNs, in fact, their proposed propagation mechanisms are the optimal solution optimizing a feature fitting function over a wide class of graph kernels with a graph regularization term. Our proposed unified optimization framework, summarizing the commonalities between several of the most representative GNNs, not only provides a macroscopic view on surveying the relations between different GNNs, but also further opens up new opportunities for flexibly designing new GNNs. With the proposed framework, we discover that existing works usually utilize naive graph convolutional kernels for feature fitting function, and we further develop two novel objective functions considering adjustable graph kernels showing low-pass or high-pass filtering capabilities respectively. Moreover, we provide the convergence proofs and expressive power comparisons for the proposed models. Extensive experiments on benchmark datasets clearly show that the proposed GNNs not only outperform the state-of-the-art methods but also have good ability to alleviate over-smoothing, and further verify the feasibility for designing GNNs with our unified optimization framework.


翻译:图像神经网络(Neal Networks)在图表结构化的数据学习中得到了相当的关注。 设计良好的传播机制已经证明是有效的,这是GNNs最基本的部分。 虽然大多数GNS基本上遵循了传递信息的方式, 但也努力发现和分析它们的基本关系。 在本文件中,我们在不同传播机制之间建立了令人惊讶的联系, 并存在统一优化问题, 表明尽管各种GNS的激增, 它们拟议的传播机制实际上是优化在具有图形正规化术语的广大类图形内核上一个功能适合功能的最佳解决方案。 我们拟议的统一优化框架, 总结了几个最具代表性的GNNNS之间的共性。 虽然大多数GNS基本上遵循了一种传递信息的方式, 但也为灵活设计新的GNNS提供了新的机会。 我们发现,尽管各种GNNS的功能通常使用天性图式革命内核功能来适应功能, 我们进一步开发了两个新颖的目标功能, 考虑调整的图形内核内核显示低端或高端的精确度框架, 也显示了我们提议的GNNF的精确度测试能力。 此外,我们提出的G的模型也提供了不同的数据, 提供了更精确的精确的模型, 。

18
下载
关闭预览

相关内容

专知会员服务
37+阅读 · 2020年11月24日
专知会员服务
52+阅读 · 2020年11月3日
一份简单《图神经网络》教程,28页ppt
专知会员服务
119+阅读 · 2020年8月2日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
【阿尔托大学】图神经网络,Graph Neural Networks,附60页ppt
专知会员服务
177+阅读 · 2020年4月26日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
29+阅读 · 2020年4月15日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Pointer Graph Networks
Arxiv
7+阅读 · 2020年6月11日
Arxiv
23+阅读 · 2018年10月24日
Arxiv
23+阅读 · 2018年10月1日
Arxiv
3+阅读 · 2018年2月11日
Arxiv
7+阅读 · 2018年1月10日
VIP会员
相关资讯
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Top
微信扫码咨询专知VIP会员