深度图神经网络(Deep graph neural networks, GNNs)能够很好地表达图结构数据的建模。然而,深度图模型的过载架构使得其难以在移动或嵌入式系统上部署和快速测试。为了压缩重叠的GNN,通过师生架构进行知识蒸馏是一种有效的技术,其中的关键步骤是用预定义的距离函数测量教师和学生网络之间的差异。然而,对各种结构的图使用相同的距离可能是不合适的,最优距离公式难以确定。为了解决这些问题,我们提出了一种新的对抗性知识蒸馏框架,命名为GraphAKD,它对抗性训练一个鉴别器和一个生成器,自适应检测和减少差异。特别地,注意到良好捕获的节点间和类间相关性有利于深度GNN的成功,我们提出使用可训练的鉴别器来批判从节点级和类级视图继承的知识。鉴别器区分老师的知识和学生继承的知识,而学生GNN作为生成器,目的是欺骗鉴别器。据我们所知,GraphAKD是第一个将对抗性训练引入到图领域知识蒸馏的系统。在节点级和图级分类基准上的实验表明,GraphAKD在很大程度上提高了学生的表现。结果表明,GraphAKD能够准确地将知识从复杂的教师GNN传递到紧凑的学生GNN。

https://arxiv.org/pdf/2205.11678.pdf

成为VIP会员查看完整内容
23

相关内容

国际知识发现与数据挖掘大会 (ACM SIGKDD Conference on Knowledge Discovery and Data Mining,简称KDD) 是数据挖掘领域的顶级会议。第28届SIGKDD会议将于8月14日至18日在华盛顿举行。据统计,今年共有1695篇有效投稿,其中254篇论文被接收,接收率为14.98%,Applied Data Science Track录用率为25.90%。
专知会员服务
25+阅读 · 2021年9月10日
专知会员服务
15+阅读 · 2021年8月10日
专知会员服务
16+阅读 · 2021年7月31日
专知会员服务
62+阅读 · 2021年7月25日
专知会员服务
26+阅读 · 2021年6月18日
专知会员服务
24+阅读 · 2021年6月17日
专知会员服务
67+阅读 · 2021年4月27日
近期必读的五篇KDD 2020【迁移学习 (TL) 】相关论文
专知会员服务
39+阅读 · 2020年8月25日
「知识蒸馏」最新2022研究综述
专知
3+阅读 · 2022年3月20日
【KDD2021】基于生成对抗图网络的不平衡网络嵌入
KDD2021 | 基于深度图卷积网络的多样化推荐
机器学习与推荐算法
0+阅读 · 2021年8月24日
【ICML2020】对比多视角表示学习
专知
18+阅读 · 2020年6月28日
基于知识蒸馏的BERT模型压缩
大数据文摘
18+阅读 · 2019年10月14日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年7月22日
Arxiv
19+阅读 · 2021年1月14日
Arxiv
15+阅读 · 2019年4月4日
A Comprehensive Survey on Graph Neural Networks
Arxiv
13+阅读 · 2019年3月10日
Arxiv
25+阅读 · 2018年1月24日
VIP会员
相关VIP内容
专知会员服务
25+阅读 · 2021年9月10日
专知会员服务
15+阅读 · 2021年8月10日
专知会员服务
16+阅读 · 2021年7月31日
专知会员服务
62+阅读 · 2021年7月25日
专知会员服务
26+阅读 · 2021年6月18日
专知会员服务
24+阅读 · 2021年6月17日
专知会员服务
67+阅读 · 2021年4月27日
近期必读的五篇KDD 2020【迁移学习 (TL) 】相关论文
专知会员服务
39+阅读 · 2020年8月25日
相关资讯
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Arxiv
0+阅读 · 2022年7月22日
Arxiv
19+阅读 · 2021年1月14日
Arxiv
15+阅读 · 2019年4月4日
A Comprehensive Survey on Graph Neural Networks
Arxiv
13+阅读 · 2019年3月10日
Arxiv
25+阅读 · 2018年1月24日
微信扫码咨询专知VIP会员