会员服务
图神经网络 · ICML 2021 ·
2021 年 6 月 16 日
1000层的GNN效果如何？ICML2021论述训练1000层的图神经网络大模型！
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

深度图神经网络(GNN)在具有数百万节点和边的日益庞大的图数据集上的各种任务中取得了良好的效果。然而，由于节点、边和中间激活的数量巨大，记忆的复杂性已经成为训练深度GNN用于实际应用的主要障碍。为了提高GNN的可扩展性，之前的工作提出了智能图采样或划分策略，用更小的节点或子图集训练GNN。在这项工作中，我们研究可逆连接，群卷积，权重捆绑和平衡模型，以提高记忆和参数效率的GNN。我们发现，可逆连接结合深度网络体系结构可以训练过参数化GNN，在多个数据集上显著优于现有方法。我们的模型RevGNN-Deep(1001层，每层80个通道)和RevGNN-Wide(448层，每层224个通道)都在单一的普通GPU上进行训练，在ogbn-蛋白质数据集上获得了87.74±0.13和88.14±0.15的ROC-AUC。据我们所知，RevGNN-Deep是文献中最深的一个数量级的GNN。

https://www.zhuanzhi.ai/paper/3673b63b3020fa9a26d4aab38cbb0806

成为VIP会员查看完整内容
https://www.zhuanzhi.ai/paper/3673b63b3020fa9a26d4aab38cbb0806
Training Graph Neural Networks with 1000 Layers
37

相关内容

图神经网络 (GNN) 是一种连接模型，它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是，图神经网络保留了一种状态，可以表示来自其邻域的具有任意深度的信息。近年来，图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【ICML2021】弹性图神经网络
专知会员服务
37+阅读 · 2021年7月17日
ICML2021图神经网络5篇论文的最新研究热点
专知会员服务
53+阅读 · 2021年6月14日
【ICML2021】基于子图结构的GNN解释模型
专知会员服务
50+阅读 · 2021年6月2日
【ICML2021】基于经典迭代算法的图神经网络
专知会员服务
30+阅读 · 2021年5月21日
GNN如何自监督学习？TAMU首篇《图神经网络自监督学习》综述论文，17页pdf
GNN如何自监督学习？TAMU首篇《图神经网络自监督学习》综述论文，17页pdf
专知会员服务
74+阅读 · 2021年2月28日
【AAAI2021-Tutorial】图神经网络GNN:模型与应用，附视频与291页ppt
【AAAI2021-Tutorial】图神经网络GNN:模型与应用，附视频与291页ppt
专知会员服务
176+阅读 · 2021年2月6日
【AAAI2021】数据增强图神经网络
专知会员服务
108+阅读 · 2020年12月21日
最新《图神经网络模型与应用》综述论文
最新《图神经网络模型与应用》综述论文
专知会员服务
294+阅读 · 2020年8月2日
注意力图神经网络的小样本学习
注意力图神经网络的小样本学习
专知会员服务
192+阅读 · 2020年7月16日
【KDD2020】XGNN-可解释图神经网络，从模型级解释构建可信赖GNN
【KDD2020】XGNN-可解释图神经网络，从模型级解释构建可信赖GNN
专知会员服务
134+阅读 · 2020年6月7日
【GNN】Cluster-GCN：一个简单又有效的 Trick
【GNN】Cluster-GCN：一个简单又有效的 Trick
AINLP
9+阅读 · 2020年7月5日
【KDD2020】XGNN-可解释图神经网络，从模型级解释构建可信赖GNN
【KDD2020】XGNN-可解释图神经网络，从模型级解释构建可信赖GNN
专知
17+阅读 · 2020年6月7日
ICML2020 图神经网络的预训练
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
WWW 2020 开源论文 | 异构图Transformer
WWW 2020 开源论文 | 异构图Transformer
PaperWeekly
13+阅读 · 2020年4月3日
图神经网络（Graph Neural Networks，GNN）综述
图神经网络（Graph Neural Networks，GNN）综述
极市平台
104+阅读 · 2019年11月27日
近期必读的7篇IJCAI 2019【图神经网络（GNN）】相关论文-Part2
近期必读的7篇IJCAI 2019【图神经网络（GNN）】相关论文-Part2
专知
91+阅读 · 2019年8月27日
【神经网络】怎样设计最优的卷积神经网络架构？卷积神经网络的训练过程
【神经网络】怎样设计最优的卷积神经网络架构？卷积神经网络的训练过程
产业智能官
6+阅读 · 2019年8月8日
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
专知
101+阅读 · 2019年8月6日
图神经网络综述：模型与应用
图神经网络综述：模型与应用
PaperWeekly
197+阅读 · 2018年12月26日
如何训练你的ResNet（三）：正则化
如何训练你的ResNet（三）：正则化
论智
5+阅读 · 2018年11月13日
Graph Trend Networks for Recommendations
Arxiv
0+阅读 · 2021年8月12日
Training Graph Neural Networks with 1000 Layers
Arxiv
13+阅读 · 2021年6月14日
Graph Neural Networks for Natural Language Processing: A Survey
Arxiv
36+阅读 · 2021年6月10日
Unbalanced minibatch Optimal Transport; applications to Domain Adaptation
Arxiv
3+阅读 · 2021年3月5日
Knowledge-Preserving Incremental Social Event Detection via Heterogeneous GNNs
Arxiv
9+阅读 · 2021年1月21日
TeMP: Temporal Message Passing for Temporal Knowledge Graph Completion
TeMP: Temporal Message Passing for Temporal Knowledge Graph Completion
Arxiv
9+阅读 · 2020年10月7日
A Survey on Knowledge Graph-Based Recommender Systems
Arxiv
92+阅读 · 2020年2月28日
Graph Neural Networks for Social Recommendation
Arxiv
20+阅读 · 2019年11月23日
Dynamically Pruned Message Passing Networks for Large-Scale Knowledge Graph Reasoning
Arxiv
6+阅读 · 2019年9月27日
Meta-GNN: On Few-shot Node Classification in Graph Meta-learning
Meta-GNN: On Few-shot Node Classification in Graph Meta-learning
Arxiv
5+阅读 · 2019年5月23日
VIP会员
相关主题
图神经网络
ICML 2021
相关VIP内容
【ICML2021】弹性图神经网络
专知会员服务
37+阅读 · 2021年7月17日
ICML2021图神经网络5篇论文的最新研究热点
专知会员服务
53+阅读 · 2021年6月14日
【ICML2021】基于子图结构的GNN解释模型
专知会员服务
50+阅读 · 2021年6月2日
【ICML2021】基于经典迭代算法的图神经网络
专知会员服务
30+阅读 · 2021年5月21日
GNN如何自监督学习？TAMU首篇《图神经网络自监督学习》综述论文，17页pdf
GNN如何自监督学习？TAMU首篇《图神经网络自监督学习》综述论文，17页pdf
专知会员服务
74+阅读 · 2021年2月28日
【AAAI2021-Tutorial】图神经网络GNN:模型与应用，附视频与291页ppt
【AAAI2021-Tutorial】图神经网络GNN:模型与应用，附视频与291页ppt
专知会员服务
176+阅读 · 2021年2月6日
【AAAI2021】数据增强图神经网络
专知会员服务
108+阅读 · 2020年12月21日
最新《图神经网络模型与应用》综述论文
最新《图神经网络模型与应用》综述论文
专知会员服务
294+阅读 · 2020年8月2日
注意力图神经网络的小样本学习
注意力图神经网络的小样本学习
专知会员服务
192+阅读 · 2020年7月16日
【KDD2020】XGNN-可解释图神经网络，从模型级解释构建可信赖GNN
【KDD2020】XGNN-可解释图神经网络，从模型级解释构建可信赖GNN
专知会员服务
134+阅读 · 2020年6月7日
热门VIP内容
相关资讯
【GNN】Cluster-GCN：一个简单又有效的 Trick
【GNN】Cluster-GCN：一个简单又有效的 Trick
AINLP
9+阅读 · 2020年7月5日
【KDD2020】XGNN-可解释图神经网络，从模型级解释构建可信赖GNN
【KDD2020】XGNN-可解释图神经网络，从模型级解释构建可信赖GNN
专知
17+阅读 · 2020年6月7日
ICML2020 图神经网络的预训练
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
WWW 2020 开源论文 | 异构图Transformer
WWW 2020 开源论文 | 异构图Transformer
PaperWeekly
13+阅读 · 2020年4月3日
图神经网络（Graph Neural Networks，GNN）综述
图神经网络（Graph Neural Networks，GNN）综述
极市平台
104+阅读 · 2019年11月27日
近期必读的7篇IJCAI 2019【图神经网络（GNN）】相关论文-Part2
近期必读的7篇IJCAI 2019【图神经网络（GNN）】相关论文-Part2
专知
91+阅读 · 2019年8月27日
【神经网络】怎样设计最优的卷积神经网络架构？卷积神经网络的训练过程
【神经网络】怎样设计最优的卷积神经网络架构？卷积神经网络的训练过程
产业智能官
6+阅读 · 2019年8月8日
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
专知
101+阅读 · 2019年8月6日
图神经网络综述：模型与应用
图神经网络综述：模型与应用
PaperWeekly
197+阅读 · 2018年12月26日
如何训练你的ResNet（三）：正则化
如何训练你的ResNet（三）：正则化
论智
5+阅读 · 2018年11月13日
相关论文
Graph Trend Networks for Recommendations
Arxiv
0+阅读 · 2021年8月12日
Training Graph Neural Networks with 1000 Layers
Arxiv
13+阅读 · 2021年6月14日
Graph Neural Networks for Natural Language Processing: A Survey
Arxiv
36+阅读 · 2021年6月10日
Unbalanced minibatch Optimal Transport; applications to Domain Adaptation
Arxiv
3+阅读 · 2021年3月5日
Knowledge-Preserving Incremental Social Event Detection via Heterogeneous GNNs
Arxiv
9+阅读 · 2021年1月21日
TeMP: Temporal Message Passing for Temporal Knowledge Graph Completion
TeMP: Temporal Message Passing for Temporal Knowledge Graph Completion
Arxiv
9+阅读 · 2020年10月7日
A Survey on Knowledge Graph-Based Recommender Systems
Arxiv
92+阅读 · 2020年2月28日
Graph Neural Networks for Social Recommendation
Arxiv
20+阅读 · 2019年11月23日
Dynamically Pruned Message Passing Networks for Large-Scale Knowledge Graph Reasoning
Arxiv
6+阅读 · 2019年9月27日
Meta-GNN: On Few-shot Node Classification in Graph Meta-learning
Meta-GNN: On Few-shot Node Classification in Graph Meta-learning
Arxiv
5+阅读 · 2019年5月23日
微信扫码咨询专知VIP会员
Top