深度图神经网络(GNN)在具有数百万节点和边的日益庞大的图数据集上的各种任务中取得了良好的效果。然而，由于节点、边和中间激活的数量巨大，记忆的复杂性已经成为训练深度GNN用于实际应用的主要障碍。为了提高GNN的可扩展性，之前的工作提出了智能图采样或划分策略，用更小的节点或子图集训练GNN。在这项工作中，我们研究可逆连接，群卷积，权重捆绑和平衡模型，以提高记忆和参数效率的GNN。我们发现，可逆连接结合深度网络体系结构可以训练过参数化GNN，在多个数据集上显著优于现有方法。我们的模型RevGNN-Deep(1001层，每层80个通道)和RevGNN-Wide(448层，每层224个通道)都在单一的普通GPU上进行训练，在ogbn-蛋白质数据集上获得了87.74±0.13和88.14±0.15的ROC-AUC。据我们所知，RevGNN-Deep是文献中最深的一个数量级的GNN。
https://www.zhuanzhi.ai/paper/3673b63b3020fa9a26d4aab38cbb0806
成为VIP会员查看完整内容
Training Graph Neural Networks with 1000 Layers
相关内容
Arxiv
9+阅读 · 2021年1月21日
Arxiv
6+阅读 · 2019年9月27日
相关VIP内容
相关资讯
相关论文
Arxiv
9+阅读 · 2021年1月21日
Arxiv
6+阅读 · 2019年9月27日
微信扫码咨询专知VIP会员