图卷积神经网络蒸馏知识,Distillating Knowledge from GCN

2020 年 3 月 25 日 专知

现有的知识蒸馏方法主要集中在卷积神经网络(convolutional neural networks~, CNNs)上,其中图像等输入样本位于一个网格域内,而处理非网格数据的graph convolutional networks~(GCN)则在很大程度上被忽略。在这篇论文中,我们提出从一个预先训练好的GCN模型中蒸馏知识的第一个专门方法。为了实现知识从教师到学生的迁移,我们提出了一个局部结构保留模块,该模块明确地考虑了教师的拓扑语义。在这个模块中,来自教师和学生的局部结构信息被提取为分布,因此最小化这些分布之间的距离,使得来自教师的拓扑感知的知识转移成为可能,从而产生一个紧凑但高性能的学生模型。此外,所提出的方法很容易扩展到动态图模型,其中教师和学生的输入图可能不同。我们使用不同架构的GCN模型,在两个不同的数据集上对所提出的方法进行了评估,并证明我们的方法达到了GCN模型最先进的知识蒸馏性能。

https://www.zhuanzhi.ai/paper/5f1c97e5f20cb5d015a7f82de361bebd



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“DKGCN” 就可以获取图卷积神经网络蒸馏知识,Distillating Knowledge from GCN》专知下载链接

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
41

相关内容

图卷积网络(简称GCN),由Thomas Kpif于2017年在论文Semi-supervised classification with graph convolutional networks中提出。它为图(graph)结构数据的处理提供了一个崭新的思路,将深度学习中常用于图像的卷积神经网络应用到图数据上。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
KGCN:使用TensorFlow进行知识图谱的机器学习
专知会员服务
80+阅读 · 2020年1月13日
【中科院计算所】图卷积神经网络及其应用
已删除
Arxiv
31+阅读 · 2020年3月23日
Arxiv
14+阅读 · 2019年11月26日
Knowledge Distillation from Internal Representations
Arxiv
4+阅读 · 2019年10月8日
Arxiv
28+阅读 · 2018年4月6日
VIP会员
相关VIP内容
KGCN:使用TensorFlow进行知识图谱的机器学习
专知会员服务
80+阅读 · 2020年1月13日
Top
微信扫码咨询专知VIP会员