We present distributed algorithms for training dynamic Graph Neural Networks (GNN) on large scale graphs spanning multi-node, multi-GPU systems. To the best of our knowledge, this is the first scaling study on dynamic GNN. We devise mechanisms for reducing the GPU memory usage and identify two execution time bottlenecks: CPU-GPU data transfer; and communication volume. Exploiting properties of dynamic graphs, we design a graph difference-based strategy to significantly reduce the transfer time. We develop a simple, but effective data distribution technique under which the communication volume remains fixed and linear in the input size, for any number of GPUs. Our experiments using billion-size graphs on a system of 128 GPUs shows that: (i) the distribution scheme achieves up to 30x speedup on 128 GPUs; (ii) the graph-difference technique reduces the transfer time by a factor of up to 4.1x and the overall execution time by up to 40%


翻译:我们提出用于培训动态图形神经网络(GNN)的分布算法,用于在多节、多GPU系统中的大型图表中培训动态图形神经网络(GNN)的分布式算法。据我们所知,这是对动态GNN的首次规模研究。我们设计了减少GPU内存使用的机制,并确定了两个执行时间瓶颈:CPU-GPU数据传输和通信量。利用动态图形的特性,我们设计了基于差异的图形战略,以大大缩短传输时间。我们开发了一种简单而有效的数据分配技术,在这个技术下,通信量在输入大小上保持不变,直线性在任何数量 GPUS中。我们在128 GPUs系统中使用10亿尺寸的图表的实验显示:(一) 分配方案在128 GPUPS上达到最多30x速度;(二) 图形差异技术将传输时间降低到4.1x的系数,总执行时间减少到40%。

0
下载
关闭预览

相关内容

【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
149+阅读 · 2020年6月28日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
利用动态深度学习预测金融时间序列基于Python
量化投资与机器学习
18+阅读 · 2018年10月30日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
【推荐】全卷积语义分割综述
机器学习研究会
19+阅读 · 2017年8月31日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2021年11月8日
Arxiv
13+阅读 · 2021年6月14日
Arxiv
37+阅读 · 2021年2月10日
Arxiv
4+阅读 · 2020年10月18日
Arxiv
4+阅读 · 2020年9月28日
Arxiv
3+阅读 · 2018年6月1日
VIP会员
相关VIP内容
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
149+阅读 · 2020年6月28日
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
利用动态深度学习预测金融时间序列基于Python
量化投资与机器学习
18+阅读 · 2018年10月30日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
【推荐】全卷积语义分割综述
机器学习研究会
19+阅读 · 2017年8月31日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
相关论文
Arxiv
0+阅读 · 2021年11月8日
Arxiv
13+阅读 · 2021年6月14日
Arxiv
37+阅读 · 2021年2月10日
Arxiv
4+阅读 · 2020年10月18日
Arxiv
4+阅读 · 2020年9月28日
Arxiv
3+阅读 · 2018年6月1日
Top
微信扫码咨询专知VIP会员