Recently, subgraph GNNs have emerged as an important direction for developing expressive graph neural networks (GNNs). While numerous architectures have been proposed, so far there is still a limited understanding of how various design paradigms differ in terms of expressive power, nor is it clear what design principle achieves maximal expressiveness with minimal architectural complexity. To address these fundamental questions, this paper conducts a systematic study of general node-based subgraph GNNs through the lens of Subgraph Weisfeiler-Lehman Tests (SWL). Our central result is to build a complete hierarchy of SWL with strictly growing expressivity. Concretely, we prove that any node-based subgraph GNN falls into one of the six SWL equivalence classes, among which $\mathsf{SSWL}$ achieves the maximal expressive power. We also study how these equivalence classes differ in terms of their practical expressiveness such as encoding graph distance and biconnectivity. Furthermore, we give a tight expressivity upper bound of all SWL algorithms by establishing a close relation with localized versions of WL and Folklore WL (FWL) tests. Our results provide insights into the power of existing subgraph GNNs, guide the design of new architectures, and point out their limitations by revealing an inherent gap with the 2-FWL test. Finally, experiments demonstrate that $\mathsf{SSWL}$-inspired subgraph GNNs can significantly outperform prior architectures on multiple benchmarks despite great simplicity.


翻译:最近,子图GNNs作为开发具有表达性的图神经网络(GNNs)的一个重要方向已经出现。尽管已经提出了许多架构,但到目前为止,各种设计范例如何在表达能力方面存在差异还不清楚,也不清楚什么设计原则能够在最小化架构复杂性的同时实现最大的表达能力。为了回答这些基本问题,本文通过子图Weisfeiler-Lehman测试的视角对一般的基于节点的子图GNNs进行了系统研究。我们的核心结果是建立了一个SWL的完整层次结构,其中表现力严格增长。具体而言,我们证明了任何基于节点的子图GNN都属于六个SWL等价类之一,其中$ \mathsf{SSWL} $达到了最大的表达能力。我们还研究了这些等价类在编码图距离和双连通性等方面的实际表达能力上的差异。此外,通过建立与WL和Folklore WL (FWL)测试的局部版本的密切联系,我们给出了所有SWL算法的表达上限。我们的结果揭示了现有子图GNNs的表达能力,并为新架构的设计提供指导,并通过揭示与2-FWL测试之间的固有差距指出其局限性。最后,实验表明,$\mathsf{SSWL}$-inspired子图GNNs尽管非常简单,但在多个基准测试中都能显著优于先前的架构。

0
下载
关闭预览

相关内容

专知会员服务
40+阅读 · 2021年6月10日
NeurIPS 2022 | 利用子图和结点的对称性提升子图GNN
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年5月18日
Arxiv
27+阅读 · 2020年6月19日
Arxiv
10+阅读 · 2019年2月19日
Arxiv
23+阅读 · 2018年10月1日
VIP会员
相关VIP内容
专知会员服务
40+阅读 · 2021年6月10日
相关资讯
NeurIPS 2022 | 利用子图和结点的对称性提升子图GNN
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员