Recently, graph neural networks (GNNs), as the backbone of graph-based machine learning, demonstrate great success in various domains (e.g., e-commerce). However, the performance of GNNs is usually unsatisfactory due to the highly sparse and irregular graph-based operations. To this end, we propose, TC-GNN, the first GPU Tensor Core Unit (TCU) based GNN acceleration framework. The core idea is to reconcile the "Sparse" GNN computation with "Dense" TCU. Specifically, we conduct an in-depth analysis of the sparse operations in mainstream GNN computing frameworks. We introduce a novel sparse graph translation technique to facilitate TCU processing of sparse GNN workload. We also implement an effective CUDA core and TCU collaboration design to fully utilize GPU resources. We fully integrate TC-GNN with the Pytorch framework for ease of programming. Rigorous experiments show an average of 1.70X speedup over the state-of-the-art Deep Graph Library framework across various GNN models and dataset settings.


翻译:最近,图形神经网络(GNN)作为基于图形的机器学习的骨干,在各个领域(例如电子商务)表现出巨大的成功。然而,由于基于图形的操作非常稀少和不规则,GNN通常不能令人满意。为此,我们提议,TC-GNN, 以GNN为基础的第一个GPU Tensor核心单位(TCU) 加速框架。核心思想是调和“Sparse” GNN计算与“Dense” TCU。具体地说,我们对主流GNN计算框架中的稀疏操作进行深入分析。我们引进了一种新的稀疏的图形翻译技术,以便利TCU处理稀疏的GNN工作量。我们还实施了有效的CUDA核心和TCU合作设计,以充分利用GPU资源。我们完全将TC-GNNNN与Pytorch框架结合起来,以方便编程。严格的实验显示,在所有GNNN模式和数据设置的高级深图馆框架上平均1.70X速度。

0
下载
关闭预览

相关内容

专知会员服务
22+阅读 · 2021年7月15日
一份简单《图神经网络》教程,28页ppt
专知会员服务
123+阅读 · 2020年8月2日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
38+阅读 · 2020年2月21日
开源书:PyTorch深度学习起步
专知会员服务
50+阅读 · 2019年10月11日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
YOLOv4 最强PyTorch复现来了!
CVer
3+阅读 · 2020年7月29日
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
14+阅读 · 2019年5月15日
CVPR2018 | Decoupled Networks
极市平台
4+阅读 · 2019年3月22日
硬件加速神经网络综述
计算机研究与发展
26+阅读 · 2019年2月1日
【推荐】手把手深度学习模型部署指南
机器学习研究会
5+阅读 · 2018年1月23日
前端高性能计算(4):GPU加速计算
前端大全
7+阅读 · 2017年10月26日
【推荐】基于TVM工具链的深度学习编译器 NNVM compiler发布
机器学习研究会
5+阅读 · 2017年10月7日
【推荐】MXNet深度情感分析实战
机器学习研究会
16+阅读 · 2017年10月4日
【推荐】TensorFlow手把手CNN实践指南
机器学习研究会
5+阅读 · 2017年8月17日
Arxiv
4+阅读 · 2020年9月28日
Pointer Graph Networks
Arxiv
7+阅读 · 2020年6月11日
Arxiv
3+阅读 · 2020年4月29日
Arxiv
15+阅读 · 2020年2月5日
Arxiv
6+阅读 · 2019年9月25日
Arxiv
10+阅读 · 2019年2月19日
VIP会员
相关资讯
YOLOv4 最强PyTorch复现来了!
CVer
3+阅读 · 2020年7月29日
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
14+阅读 · 2019年5月15日
CVPR2018 | Decoupled Networks
极市平台
4+阅读 · 2019年3月22日
硬件加速神经网络综述
计算机研究与发展
26+阅读 · 2019年2月1日
【推荐】手把手深度学习模型部署指南
机器学习研究会
5+阅读 · 2018年1月23日
前端高性能计算(4):GPU加速计算
前端大全
7+阅读 · 2017年10月26日
【推荐】基于TVM工具链的深度学习编译器 NNVM compiler发布
机器学习研究会
5+阅读 · 2017年10月7日
【推荐】MXNet深度情感分析实战
机器学习研究会
16+阅读 · 2017年10月4日
【推荐】TensorFlow手把手CNN实践指南
机器学习研究会
5+阅读 · 2017年8月17日
相关论文
Arxiv
4+阅读 · 2020年9月28日
Pointer Graph Networks
Arxiv
7+阅读 · 2020年6月11日
Arxiv
3+阅读 · 2020年4月29日
Arxiv
15+阅读 · 2020年2月5日
Arxiv
6+阅读 · 2019年9月25日
Arxiv
10+阅读 · 2019年2月19日
Top
微信扫码咨询专知VIP会员