【NeurIPS2021】用于物体检测的实例条件知识蒸馏

论文题目：Instance-Conditional Knowledge Distillation for Object Detection

中文题目：用于物体检测的实例条件知识蒸馏

论文链接：https://www.zhuanzhi.ai/paper/8175ccabb0b146d78a42919311b7b072

与分类不同, 检测图片散布着各式目标, 而有效的蒸馏区域与实例位置相关又不完全等同. 本文提出实例条件知识蒸馏:

a. 将实例标注编码的查询 (query) 表征与教师网络提取的关键 (key) 表征计算关联系数, 期望高系数处为空间中有效蒸馏区域；

b. 为学习靠谱关联系数, 引入含定位和识别的辅助任务进行监督；

c. 关联系数将以掩膜的型态, 在学生和教师网络的特征蒸馏时使用

实验表明, 我们的方法能显著提升学生检测器的效果, 有时甚至青出于蓝 (超越教师)。