知识蒸馏(KD)的目标是将知识从一个更大的、优化的教师网络转移到一个更小的、可学习的学生网络。现有的KD方法主要考虑两种类型的知识,即个体知识和关系知识。然而,这两类知识通常是独立建模的,而它们之间的内在相关性在很大程度上被忽略了。充分的学生网络学习需要将个体知识和关系知识结合起来,同时保留它们内在的相关性。在本文中,我们提出基于实例间的属性图来提取新的整体知识。通过图神经网络从相关邻域样本中聚合个体知识,将整体知识表示为统一的基于图的嵌入,通过对比的方式提取整体知识来学习学生网络。在基准数据集上进行了大量的实验和烧蚀研究,结果证明了该方法的有效性。该代码已在https://github.com/wyc-ruiker/HKD上发布

成为VIP会员查看完整内容
26

相关内容

专知会员服务
16+阅读 · 2021年7月31日
专知会员服务
23+阅读 · 2021年6月19日
专知会员服务
26+阅读 · 2021年6月18日
专知会员服务
36+阅读 · 2021年4月18日
【WWW2021】通过异构GNN知识保留的增量社会事件检测
专知会员服务
20+阅读 · 2021年1月24日
专知会员服务
101+阅读 · 2020年12月22日
专知会员服务
44+阅读 · 2020年12月20日
注意力图神经网络的多标签文本分类
专知会员服务
111+阅读 · 2020年3月28日
图卷积神经网络蒸馏知识,Distillating Knowledge from GCN
专知会员服务
94+阅读 · 2020年3月25日
【KDD2020】图神经网络生成式预训练
专知
20+阅读 · 2020年7月3日
WWW 2020 开源论文 | 异构图Transformer
PaperWeekly
13+阅读 · 2020年4月3日
注意力图神经网络的多标签文本分类
专知
8+阅读 · 2020年3月28日
知识图注意力网络 KGAT
图与推荐
51+阅读 · 2020年3月16日
SFFAI分享 | 常建龙:基于关系的深度学习【附PPT与视频资料】
人工智能前沿讲习班
6+阅读 · 2019年7月1日
图上的归纳表示学习
科技创新与创业
22+阅读 · 2017年11月9日
Equalization Loss for Long-Tailed Object Recognition
Arxiv
5+阅读 · 2020年4月14日
HaarPooling: Graph Pooling with Compressive Haar Basis
VIP会员
相关VIP内容
专知会员服务
16+阅读 · 2021年7月31日
专知会员服务
23+阅读 · 2021年6月19日
专知会员服务
26+阅读 · 2021年6月18日
专知会员服务
36+阅读 · 2021年4月18日
【WWW2021】通过异构GNN知识保留的增量社会事件检测
专知会员服务
20+阅读 · 2021年1月24日
专知会员服务
101+阅读 · 2020年12月22日
专知会员服务
44+阅读 · 2020年12月20日
注意力图神经网络的多标签文本分类
专知会员服务
111+阅读 · 2020年3月28日
图卷积神经网络蒸馏知识,Distillating Knowledge from GCN
专知会员服务
94+阅读 · 2020年3月25日
相关资讯
【KDD2020】图神经网络生成式预训练
专知
20+阅读 · 2020年7月3日
WWW 2020 开源论文 | 异构图Transformer
PaperWeekly
13+阅读 · 2020年4月3日
注意力图神经网络的多标签文本分类
专知
8+阅读 · 2020年3月28日
知识图注意力网络 KGAT
图与推荐
51+阅读 · 2020年3月16日
SFFAI分享 | 常建龙:基于关系的深度学习【附PPT与视频资料】
人工智能前沿讲习班
6+阅读 · 2019年7月1日
图上的归纳表示学习
科技创新与创业
22+阅读 · 2017年11月9日
微信扫码咨询专知VIP会员