图卷积网络(GCN)在许多应用中越来越受欢迎,但在大型图数据集上的训练仍然是出了名的困难。它们需要从它们的邻居递归地计算节点表示。当前的GCN训练算法要么计算成本高,随层数呈指数增长,要么加载整个图和节点嵌入时占用大量内存。提出了一种高效的GCN (L-GCN)分层训练框架,将训练过程中的特征集合和特征转换分离出来,大大降低了训练的时间复杂度和记忆复杂度。我们在图同构框架下对L-GCN进行了理论分析,结果表明,在较温和的条件下,L-GCN与代价较高的传统训练算法具有同样强大的GCNs性能。我们进一步提出了L^2-GCN,它为每一层学习一个控制器,可以自动调整L-GCN中每一层的训练时间。实验表明,L-GCN至少比目前的水平快一个数量级,内存使用的一致性不依赖于数据集的大小,同时保持了可比较的预测性能。通过学习控制器,L^2-GCN可以进一步减少一半的训练时间。我们的代码在这个https URL中可用。

成为VIP会员查看完整内容
37

相关内容

【KDD2020】自适应多通道图卷积神经网络
专知会员服务
119+阅读 · 2020年7月9日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
145+阅读 · 2020年6月28日
【CVPR2020-北京大学】自适应间隔损失的提升小样本学习
专知会员服务
81+阅读 · 2020年6月9日
【SIGIR2020】LightGCN: 简化和增强图卷积网络推荐
专知会员服务
72+阅读 · 2020年6月1日
【CVPR2020】用多样性最大化克服单样本NAS中的多模型遗忘
【CVPR2020】视觉推理-可微自适应计算时间
专知会员服务
12+阅读 · 2020年4月28日
近期必读的12篇KDD 2019【图神经网络(GNN)】相关论文
专知会员服务
62+阅读 · 2020年1月10日
GraphSAGE:我寻思GCN也没我牛逼
极市平台
11+阅读 · 2019年8月12日
精选论文 | 图深度学习【附打包下载】
人工智能前沿讲习班
11+阅读 · 2019年6月12日
重新思考图卷积网络:GNN只是一种滤波器
新智元
27+阅读 · 2019年6月3日
【泡泡点云时空】完美配准:具有平滑密度的3D点云配准
泡泡机器人SLAM
60+阅读 · 2019年5月16日
【泡泡图灵智库】GCNv2:高效关联预测实时SLAM(arXiv)
泡泡机器人SLAM
44+阅读 · 2019年4月15日
图注意力网络
科技创新与创业
34+阅读 · 2017年11月22日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
干货|基于图卷积网络的图深度学习
DataCanvas大数据云平台
9+阅读 · 2017年6月8日
Self-Attention Graph Pooling
Arxiv
5+阅读 · 2019年4月17日
Arxiv
15+阅读 · 2019年4月4日
Deep Graph Infomax
Arxiv
16+阅读 · 2018年12月21日
Arxiv
9+阅读 · 2018年2月4日
VIP会员
相关VIP内容
【KDD2020】自适应多通道图卷积神经网络
专知会员服务
119+阅读 · 2020年7月9日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
145+阅读 · 2020年6月28日
【CVPR2020-北京大学】自适应间隔损失的提升小样本学习
专知会员服务
81+阅读 · 2020年6月9日
【SIGIR2020】LightGCN: 简化和增强图卷积网络推荐
专知会员服务
72+阅读 · 2020年6月1日
【CVPR2020】用多样性最大化克服单样本NAS中的多模型遗忘
【CVPR2020】视觉推理-可微自适应计算时间
专知会员服务
12+阅读 · 2020年4月28日
近期必读的12篇KDD 2019【图神经网络(GNN)】相关论文
专知会员服务
62+阅读 · 2020年1月10日
相关资讯
GraphSAGE:我寻思GCN也没我牛逼
极市平台
11+阅读 · 2019年8月12日
精选论文 | 图深度学习【附打包下载】
人工智能前沿讲习班
11+阅读 · 2019年6月12日
重新思考图卷积网络:GNN只是一种滤波器
新智元
27+阅读 · 2019年6月3日
【泡泡点云时空】完美配准:具有平滑密度的3D点云配准
泡泡机器人SLAM
60+阅读 · 2019年5月16日
【泡泡图灵智库】GCNv2:高效关联预测实时SLAM(arXiv)
泡泡机器人SLAM
44+阅读 · 2019年4月15日
图注意力网络
科技创新与创业
34+阅读 · 2017年11月22日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
干货|基于图卷积网络的图深度学习
DataCanvas大数据云平台
9+阅读 · 2017年6月8日
微信扫码咨询专知VIP会员