Node features of graph neural networks (GNNs) tend to become more similar with the increase of the network depth. This effect is known as over-smoothing, which we axiomatically define as the exponential convergence of suitable similarity measures on the node features. Our definition unifies previous approaches and gives rise to new quantitative measures of over-smoothing. Moreover, we empirically demonstrate this behavior for several over-smoothing measures on different graphs (small-, medium-, and large-scale). We also review several approaches for mitigating over-smoothing and empirically test their effectiveness on real-world graph datasets. Through illustrative examples, we demonstrate that mitigating over-smoothing is a necessary but not sufficient condition for building deep GNNs that are expressive on a wide range of graph learning tasks. Finally, we extend our definition of over-smoothing to the rapidly emerging field of continuous-time GNNs.


翻译:翻译后的标题: 图神经网络中过度平滑现象综述 翻译后的摘要: 图神经网络(GNN)节点特征随着网络深度增加越来越相似,这个现象被称为过度平滑(Oversmoothing)。本文公理化地给出过度平滑的定义:指数收敛于适当的相似性度量。文中的定义统一了之前的方法,提出了新的量化指标。本文还对中、小、大规模的几种图上的过平滑量的方法进行实证分析,回顾了几种缓解过度平滑的方法,并对实际的图数据集进行了实验测试。通过例证,我们展示了缓解过度平滑是构建深层GNN以在广泛的图学习任务上表现出表达力所必需的,但并不充分的条件。最后,我们将我们过度平滑的定义扩展到快速兴起的连续时间GNN领域。

0
下载
关闭预览

相关内容

【NeurIPS 2022】张量分解图神经网络的高阶池化
专知会员服务
23+阅读 · 2022年11月29日
专知会员服务
52+阅读 · 2021年6月14日
专知会员服务
50+阅读 · 2021年5月19日
注意力图神经网络的小样本学习
专知会员服务
191+阅读 · 2020年7月16日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
149+阅读 · 2020年6月28日
必读的7篇 IJCAI 2019【图神经网络(GNN)】相关论文
专知会员服务
91+阅读 · 2020年1月10日
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
WWW2021 | 基于图卷积神经网络的多样化推荐系统
机器学习与推荐算法
0+阅读 · 2022年8月3日
深入探讨置换敏感的图神经网络
图与推荐
0+阅读 · 2022年6月8日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2023年5月9日
Arxiv
0+阅读 · 2023年5月5日
Directional Graph Networks
Arxiv
27+阅读 · 2020年12月10日
Arxiv
38+阅读 · 2020年12月2日
Arxiv
24+阅读 · 2018年10月24日
VIP会员
相关VIP内容
【NeurIPS 2022】张量分解图神经网络的高阶池化
专知会员服务
23+阅读 · 2022年11月29日
专知会员服务
52+阅读 · 2021年6月14日
专知会员服务
50+阅读 · 2021年5月19日
注意力图神经网络的小样本学习
专知会员服务
191+阅读 · 2020年7月16日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
149+阅读 · 2020年6月28日
必读的7篇 IJCAI 2019【图神经网络(GNN)】相关论文
专知会员服务
91+阅读 · 2020年1月10日
相关资讯
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
WWW2021 | 基于图卷积神经网络的多样化推荐系统
机器学习与推荐算法
0+阅读 · 2022年8月3日
深入探讨置换敏感的图神经网络
图与推荐
0+阅读 · 2022年6月8日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员