【CVPR2021】用于目标检测的通用实例蒸馏

https://www.zhuanzhi.ai/paper/cb3378314b648e21f7e04d86c3bc5727

GID提出了一种基于检测任务的新型蒸馏方法。通过从teacher和studnet中分别提取general instance (GI)，并提出GISM模块自适应选择差异大的instance进行feature-based、relation-based以及response-based蒸馏。本方法首次将关系型知识蒸馏应用于检测框架，且将蒸馏目标从独立考虑的正负样本蒸馏统一为更本质GI蒸馏，过程中不依赖于GT，且达到SOTA。