将谱信息融入图神经网络(GNNs)以提升其性能已显示出良好的效果,但由于特征向量的固有模糊性,这带来了一个基本挑战。为了解决这一模糊性,各种架构被提出,这些架构被称为谱不变架构。值得注意的例子包括使用谱距离、谱投影矩阵或其他不变谱特征的GNNs和图Transformers。然而,这些谱不变架构的潜在表达能力仍然很不明确。本研究的目标是深入理解使用谱特征时可获得的表达能力。

我们首先引入了一个设计谱不变GNNs的统一消息传递框架,称为特征空间投影GNN(EPNN)。综合分析显示,EPNN本质上统一了所有之前的谱不变架构,因为它们要么严格地不如EPNN表达能力强,要么与EPNN等效。还建立了不同架构之间的细粒度表达能力层次。另一方面,我们证明了EPNN本身被最近提出的一类子图GNNs所限制,这意味着所有这些谱不变架构的表达能力都严格低于3-WL。

最后,我们讨论了在结合更具表达能力的GNNs时,使用谱特征是否可以获得额外的表达能力。

成为VIP会员查看完整内容
15

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【WWW2024】使用图神经网络的消歧节点分类
专知会员服务
19+阅读 · 2月15日
【ICML2023】路径神经网络:具有表达能力的准确图神经网络
【KDD2022】基于对抗性知识蒸馏的深度图神经网络压缩
专知会员服务
23+阅读 · 2022年6月10日
【ICML2022】张量卷积神经网络的统一权值初始化范式
专知会员服务
17+阅读 · 2022年6月8日
【ICML2022】深度神经网络中的特征学习与信号传播
专知会员服务
24+阅读 · 2022年6月2日
【CVPR2022】多视图聚合的大规模三维语义分割
专知会员服务
20+阅读 · 2022年4月20日
【AAAI2022】基于图神经网络的统一离群点异常检测方法
专知会员服务
26+阅读 · 2022年2月12日
专知会员服务
63+阅读 · 2021年7月25日
【WSDM2021】拓扑去噪的鲁棒图神经网络
专知会员服务
26+阅读 · 2020年11月14日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【NeurIPS 2020】核基渐进蒸馏加法器神经网络
专知
13+阅读 · 2020年10月19日
【ICML2020】图神经网络谱聚类
专知
10+阅读 · 2020年7月7日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
A Survey of Large Language Models
Arxiv
348+阅读 · 2023年3月31日
VIP会员
相关VIP内容
【WWW2024】使用图神经网络的消歧节点分类
专知会员服务
19+阅读 · 2月15日
【ICML2023】路径神经网络:具有表达能力的准确图神经网络
【KDD2022】基于对抗性知识蒸馏的深度图神经网络压缩
专知会员服务
23+阅读 · 2022年6月10日
【ICML2022】张量卷积神经网络的统一权值初始化范式
专知会员服务
17+阅读 · 2022年6月8日
【ICML2022】深度神经网络中的特征学习与信号传播
专知会员服务
24+阅读 · 2022年6月2日
【CVPR2022】多视图聚合的大规模三维语义分割
专知会员服务
20+阅读 · 2022年4月20日
【AAAI2022】基于图神经网络的统一离群点异常检测方法
专知会员服务
26+阅读 · 2022年2月12日
专知会员服务
63+阅读 · 2021年7月25日
【WSDM2021】拓扑去噪的鲁棒图神经网络
专知会员服务
26+阅读 · 2020年11月14日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员