Graph Neural Networks (GNNs) have achieved tremendous success in graph representation learning. Unfortunately, current GNNs usually rely on loading the entire attributed graph into the network for processing. This implicit assumption may not be satisfied with limited memory resources, especially when the attributed graph is large. In this paper, we propose a Binary Graph Convolutional Network (Bi-GCN), which binarizes both the network parameters and input node features. Besides, the original matrix multiplications are revised to binary operations for accelerations. According to the theoretical analysis, our Bi-GCN can reduce the memory consumption by ~31x for both the network parameters and input data, and accelerate the inference speed by ~53x. Extensive experiments have demonstrated that our Bi-GCN can give a comparable prediction performance compared to the full-precision baselines. Besides, our binarization approach can be easily applied to other GNNs, which has been verified in the experiments.


翻译:图表神经网络(Neal Networks)在图形演示学习方面取得了巨大成功。 不幸的是,目前的GNNs通常依赖将整个属性图装入网络进行处理。 这一隐含的假设可能无法满足有限的记忆资源, 特别是当该属性图巨大时。 在本文中,我们建议建立一个二进制图表革命网络(Bi-GCN), 它将网络参数和输入节点功能二进制。 此外, 原始矩阵乘数被修改为加速的二进制操作。 根据理论分析, 我们的Bi- GNNs可以将网络参数和输入数据的内存消耗量减少~ 31x, 加速 ~ 53x 的推断速度。 广泛的实验表明, 我们的Bi-GCN 能够提供与全精度基线可比的预测性。 此外, 我们的二进制方法很容易适用于其他GNs, 实验中已经核实过的其他GNs 。

1
下载
关闭预览

相关内容

【NeurIPS2020-MIT】子图神经网络,Subgraph Neural Networks
专知会员服务
45+阅读 · 2020年9月28日
【IJCAJ 2020】多通道神经网络 Multi-Channel Graph Neural Networks
专知会员服务
25+阅读 · 2020年7月19日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
146+阅读 · 2020年6月28日
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
108+阅读 · 2020年2月22日
论文浅尝 | GMNN: Graph Markov Neural Networks
开放知识图谱
20+阅读 · 2020年2月14日
一文读懂图卷积GCN
计算机视觉life
21+阅读 · 2019年12月21日
图神经网络(Graph Neural Networks,GNN)综述
极市平台
103+阅读 · 2019年11月27日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
Arxiv
15+阅读 · 2019年4月4日
Arxiv
12+阅读 · 2018年9月15日
Arxiv
26+阅读 · 2018年2月27日
Arxiv
7+阅读 · 2018年1月10日
VIP会员
Top
微信扫码咨询专知VIP会员