【AAAI2022】运用关系知识蒸馏提升对比学习

虽然自监督表示学习(SSL)在大型模型中已被证明是有效的，但在遵循相同的解决方案时，SSL和轻量级模型中的监督方法之间仍然存在巨大的差距。我们深入研究了这个问题，发现轻量级模型在简单地执行实例对比时，容易在语义空间中崩溃。为了解决这个问题，我们提出了一个基于关系的对比范式——关系知识蒸馏(ReKD)。我们引入一个异构教师来明确地挖掘语义信息，并将一种新的关系知识传递给学生(轻量级模型)。理论分析支持了我们对实例对比的主要关注，并验证了我们的关系对比学习的有效性。大量的实验结果也表明，我们的方法在多个轻量级模型上取得了显著的改进。特别是在AlexNet上的线性评价，将当前的技术水平从44.7%提高到50.1%，是第一个接近监督的50.5%的作品。

https://www.zhuanzhi.ai/paper/decf9fafcca546be1c73afa529536fc4