【NeurIPS2022】几何知识蒸馏:图神经网络的拓扑压缩

本文研究了一种知识迁移的新范式，旨在通过将知识从在完全图上训练的教师GNN模型提取到在更小或更稀疏的图上操作的学生GNN模型，将图拓扑信息编码到图神经网络(GNN)中。为此，我们回顾了热力学和GNN行为之间的联系，在此基础上，我们提出了神经热核(NHK)来封装与GNN体系结构有关的底层流形的几何特性。一个基本的和原则性的解决方案是通过对齐教师和学生模型的NHKs，称为几何知识蒸馏。我们开发了非参数实例化和参数化实例化，并在不同的实验设置中演示了它们的有效性，用于不同类型的特权拓扑信息和师生方案的知识蒸馏。

https://arxiv.org/pdf/2210.13014.pdf

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“GKDS” 就可以获取《【NeurIPS2022】几何知识蒸馏:图神经网络的拓扑压缩》专知下载链接

                       

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取100000+AI主题知识资料