【CVPR2020】L2 ^GCN:图卷积网络的分层学习高效训练

2020 年 3 月 31 日 专知

图卷积网络(GCN)在许多应用中越来越受欢迎,但在大型图数据集上的训练仍然是出了名的困难。它们需要从它们的邻居递归地计算节点表示。当前的GCN训练算法要么计算成本高,随层数呈指数增长,要么加载整个图和节点嵌入时占用大量内存。提出了一种高效的GCN (L-GCN)分层训练框架,将训练过程中的特征集合和特征转换分离出来,大大降低了训练的时间复杂度和记忆复杂度。我们在图同构框架下对L-GCN进行了理论分析,结果表明,在较温和的条件下,L-GCN与代价较高的传统训练算法具有同样强大的GCNs性能。我们进一步提出了L^2-GCN,它为每一层学习一个控制器,可以自动调整L-GCN中每一层的训练时间。实验表明,L-GCN至少比目前的水平快一个数量级,内存使用的一致性不依赖于数据集的大小,同时保持了可比较的预测性能。通过学习控制器,L^2-GCN可以进一步减少一半的训练时间。我们的代码在这个https URL中可用。


https://www.zhuanzhi.ai/paper/2e03425c50cfeb4de1f63ae8f13c7136



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“LGCN” 就可以获取【CVPR2020】L2 ^GCN:图卷积网络的分层学习高效训练》专知下载链接

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
11

相关内容

图卷积网络(简称GCN),由Thomas Kpif于2017年在论文Semi-supervised classification with graph convolutional networks中提出。它为图(graph)结构数据的处理提供了一个崭新的思路,将深度学习中常用于图像的卷积神经网络应用到图数据上。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【KDD2020】自适应多通道图卷积神经网络
专知会员服务
119+阅读 · 2020年7月9日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
149+阅读 · 2020年6月28日
【CVPR2020-北京大学】自适应间隔损失的提升小样本学习
专知会员服务
83+阅读 · 2020年6月9日
【SIGIR2020】LightGCN: 简化和增强图卷积网络推荐
专知会员服务
72+阅读 · 2020年6月1日
【CVPR2020】用多样性最大化克服单样本NAS中的多模型遗忘
【IJCAI2020】图神经网络预测结构化实体交互
专知会员服务
42+阅读 · 2020年5月13日
【CVPR2020】视觉推理-可微自适应计算时间
专知会员服务
12+阅读 · 2020年4月28日
近期必读的12篇KDD 2019【图神经网络(GNN)】相关论文
专知会员服务
62+阅读 · 2020年1月10日
Arxiv
9+阅读 · 2019年11月6日
Self-Attention Graph Pooling
Arxiv
5+阅读 · 2019年4月17日
Arxiv
15+阅读 · 2019年4月4日
Meta-Learning with Latent Embedding Optimization
Arxiv
6+阅读 · 2018年7月16日
Arxiv
10+阅读 · 2018年2月4日
VIP会员
相关VIP内容
【KDD2020】自适应多通道图卷积神经网络
专知会员服务
119+阅读 · 2020年7月9日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
149+阅读 · 2020年6月28日
【CVPR2020-北京大学】自适应间隔损失的提升小样本学习
专知会员服务
83+阅读 · 2020年6月9日
【SIGIR2020】LightGCN: 简化和增强图卷积网络推荐
专知会员服务
72+阅读 · 2020年6月1日
【CVPR2020】用多样性最大化克服单样本NAS中的多模型遗忘
【IJCAI2020】图神经网络预测结构化实体交互
专知会员服务
42+阅读 · 2020年5月13日
【CVPR2020】视觉推理-可微自适应计算时间
专知会员服务
12+阅读 · 2020年4月28日
近期必读的12篇KDD 2019【图神经网络(GNN)】相关论文
专知会员服务
62+阅读 · 2020年1月10日
Top
微信扫码咨询专知VIP会员