Distilling high-accuracy Graph Neural Networks~(GNNs) to low-latency multilayer perceptrons~(MLPs) on graph tasks has become a hot research topic. However, MLPs rely exclusively on the node features and fail to capture the graph structural information. Previous methods address this issue by processing graph edges into extra inputs for MLPs, but such graph structures may be unavailable for various scenarios. To this end, we propose a Prototype-Guided Knowledge Distillation~(PGKD) method, which does not require graph edges~(edge-free) yet learns structure-aware MLPs. Specifically, we analyze the graph structural information in GNN teachers, and distill such information from GNNs to MLPs via prototypes in an edge-free setting. Experimental results on popular graph benchmarks demonstrate the effectiveness and robustness of the proposed PGKD.


翻译:知识蒸馏高精度的图神经网络到低延迟的多层感知机在图任务上已成为热门的研究主题。然而,多层感知机仅依赖于节点特征,无法捕捉到图结构信息。先前的方法通过处理图边缘成为多层感知机的额外输入来解决此问题,但在各种情况下这样的图结构可能无法获得。因此,我们提出了一种原型引导知识蒸馏(PGKD)方法,它不需要图的边界但仍能学习有结构感知的多层感知机。具体而言,我们分析了GNN教师中的图结构信息,并通过原型在无边界的情况下从GNNs向MLPs中蒸馏这样的信息。流行的图基准实验结果证明了所提出的PGKD方法的有效性和鲁棒性。

1
下载
关闭预览

相关内容

【NeurIPS22】大图上线性复杂度的节点级Transformer
专知会员服务
19+阅读 · 2022年11月29日
【AAAI2022】LGD:用于物体检测的标签引导自蒸馏
专知会员服务
14+阅读 · 2022年1月2日
【ICLR2021】通过多种自监督方式提升GAT中注意力
专知会员服务
43+阅读 · 2021年2月27日
【IJCAJ 2020】多通道神经网络 Multi-Channel Graph Neural Networks
专知会员服务
25+阅读 · 2020年7月19日
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
22+阅读 · 2021年12月2日
Arxiv
10+阅读 · 2021年2月26日
Arxiv
15+阅读 · 2020年2月5日
Arxiv
13+阅读 · 2019年11月14日
Arxiv
17+阅读 · 2019年3月28日
VIP会员
相关VIP内容
【NeurIPS22】大图上线性复杂度的节点级Transformer
专知会员服务
19+阅读 · 2022年11月29日
【AAAI2022】LGD:用于物体检测的标签引导自蒸馏
专知会员服务
14+阅读 · 2022年1月2日
【ICLR2021】通过多种自监督方式提升GAT中注意力
专知会员服务
43+阅读 · 2021年2月27日
【IJCAJ 2020】多通道神经网络 Multi-Channel Graph Neural Networks
专知会员服务
25+阅读 · 2020年7月19日
相关基金
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员