【ICCV2021】用图神经网络提取整体知识

知识蒸馏(KD)的目标是将知识从一个更大的、优化的教师网络转移到一个更小的、可学习的学生网络。现有的KD方法主要考虑两种类型的知识，即个体知识和关系知识。然而，这两类知识通常是独立建模的，而它们之间的内在相关性在很大程度上被忽略了。充分的学生网络学习需要将个体知识和关系知识结合起来，同时保留它们内在的相关性。在本文中，我们提出基于实例间的属性图来提取新的整体知识。通过图神经网络从相关邻域样本中聚合个体知识，将整体知识表示为统一的基于图的嵌入，通过对比的方式提取整体知识来学习学生网络。在基准数据集上进行了大量的实验和烧蚀研究，结果证明了该方法的有效性。该代码已在https://github.com/wyc-ruiker/HKD上发布