Graph Neural Networks (GNNs) exhibit excellent performance when graphs have strong homophily property, i.e. connected nodes have the same labels. However, they perform poorly on heterophilic graphs. Several approaches address the issue of heterophily by proposing models that adapt the graph by optimizing task-specific loss function using labelled data. These adaptations are made either via attention or by attenuating or enhancing various low-frequency/high-frequency signals, as needed for the task at hand. More recent approaches adapt the eigenvalues of the graph. One important interpretation of this adaptation is that these models select/weigh the eigenvectors of the graph. Based on this interpretation, we present an eigendecomposition based approach and propose EigenNetwork models that improve the performance of GNNs on heterophilic graphs. Performance improvement is achieved by learning flexible graph adaptation functions that modulate the eigenvalues of the graph. Regularization of these functions via parameter sharing helps to improve the performance even more. Our approach achieves up to 11% improvement in performance over the state-of-the-art methods on heterophilic graphs.


翻译:当图形具有很强的同质属性,即连接节点具有相同的标签时,神经网络(GNNS)显示极好的性能。然而,在异性嗜血图上,它们表现不佳。几种方法通过提出模型,通过优化特定任务损失功能,优化特定任务损失功能,对图形进行不同调整。这些调整要么通过注意,要么通过减少或增强当前任务所需的各种低频/高频信号来进行。最近的办法调整了图形的双元值。最近的办法调整了图形的正本值。这种调整的一个重要解释是,这些模型选择/比图的顶级图形。根据这种解释,我们提出了一个基于eigendecomposition的模型,并提出了EigenNetwork模型,改进了GNNS在异性图上的性能。通过学习灵活的图形适应功能,调整了图形的双元值,使这些功能正规化,有助于更加改进性能。根据这种解释,我们的方法在图形的状态上达到11%的图像性能改进。

0
下载
关闭预览

相关内容

【图神经网络导论】Intro to Graph Neural Networks,176页ppt
专知会员服务
125+阅读 · 2021年6月4日
最新《自监督表示学习》报告,70页ppt
专知会员服务
85+阅读 · 2020年12月22日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
155+阅读 · 2020年5月26日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
【综述笔记】Graph Neural Networks in Recommender Systems
图与推荐
5+阅读 · 2020年12月8日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
LibRec 精选:近期15篇推荐系统论文
LibRec智能推荐
5+阅读 · 2019年3月5日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
CNN已老,GNN来了!清华大学孙茂松组一文综述GNN
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
Arxiv
4+阅读 · 2020年9月28日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Arxiv
10+阅读 · 2019年2月19日
Arxiv
23+阅读 · 2018年10月1日
VIP会员
相关资讯
【综述笔记】Graph Neural Networks in Recommender Systems
图与推荐
5+阅读 · 2020年12月8日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
LibRec 精选:近期15篇推荐系统论文
LibRec智能推荐
5+阅读 · 2019年3月5日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
CNN已老,GNN来了!清华大学孙茂松组一文综述GNN
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
Top
微信扫码咨询专知VIP会员