图神经网络(GNN)是学习图的主要技术,并且已经得到非常广泛的应用。但是GNN训练往往需要大量的参数且训练时间很长。这里我们可以通过组合忽略图结构的浅层模型和利用标签结构相关性的两个简单后处理步骤,来获得GNN性能的提升。例如,在OGB-Products数据集上,相对性能最好的GNN模型,我们将参数减少137倍,训练时间减少超过100倍,还能获得更好的性能。

(1)“误差相关性”,它分散训练数据中的残留错误以纠正测试数据中的错误

(2)“预测相关性”,它使测试数据上的预测变平滑。我们称此过程为“纠正和平滑”(C&S)

后处理步骤是通过从早期基于图的半监督学习方法对标准标签传播技术进行简单修改而实现的。我们的方法在各种各样的网络上都超过或接近了最新的GNN的性能基准,并且参数和运行时间大大减小。我们将标签信息直接整合到学习算法中,从而获得简单而可观的性能提升。我们还将该技术融合到大型GNN模型中,从而获得性能的提升。

成为VIP会员查看完整内容
32

相关内容

AAAI2021 | 学习预训练图神经网络
专知会员服务
115+阅读 · 2021年1月28日
专知会员服务
56+阅读 · 2021年1月26日
专知会员服务
37+阅读 · 2020年11月24日
【NeurIPS 2020】通过双向传播的可扩展图神经网络
专知会员服务
27+阅读 · 2020年11月3日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
180+阅读 · 2020年9月7日
KDD20 | AM-GCN:自适应多通道图卷积网络
专知
8+阅读 · 2020年8月26日
【GNN】R-GCN:GCN 在知识图谱中的应用
深度学习自然语言处理
11+阅读 · 2020年5月4日
WWW 2020 开源论文 | 异构图Transformer
PaperWeekly
13+阅读 · 2020年4月3日
精选论文 | 图神经网络时间节点【附打包下载】
人工智能前沿讲习班
17+阅读 · 2019年5月6日
Arxiv
0+阅读 · 2021年4月13日
Self-Attention Graph Pooling
Arxiv
13+阅读 · 2019年6月13日
A Comprehensive Survey on Graph Neural Networks
Arxiv
21+阅读 · 2019年1月3日
Arxiv
4+阅读 · 2017年10月30日
VIP会员
相关VIP内容
AAAI2021 | 学习预训练图神经网络
专知会员服务
115+阅读 · 2021年1月28日
专知会员服务
56+阅读 · 2021年1月26日
专知会员服务
37+阅读 · 2020年11月24日
【NeurIPS 2020】通过双向传播的可扩展图神经网络
专知会员服务
27+阅读 · 2020年11月3日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
180+阅读 · 2020年9月7日
微信扫码咨询专知VIP会员