【CVPR2022】基于知识蒸馏的高效预训练

基于知识蒸馏的高效预训练

Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability

大规模的预训练已被证明对广泛的计算机视觉任务都十分关键，能够带来显著的涨点； 然而，随着预训练数据量的增大，私有数据的出现，模型结构的多样化，将所有的模型结构都在大规模预训练数据集上进行预训练，变得昂贵、低效、不实际。

研究者们思考：是否一个已经在大量数据上预训练好的模型已经提取了大量数据的知识，并且可以仅通过少部分预训练数据，将其高效快速的传递给一个新的模型？

进而，研究者们提出通过知识蒸馏来实现高效模型预训练。他们发现，传统的知识蒸馏由于在分类的 logits 上进行蒸馏，而这些分类的 logits 并不会被利用到下游迁移任务中，因此并不适合于预训练需要的特征学习。对此，研究者们提出一种基于无额外参数特征维度对齐的纯特征蒸馏方法。

采用所提出的方法，仅使用 1/10 的预训练数据和 1/5 的预训练时间，就可以达到有监督预训练的迁移效果（在图像分类、语义分割、目标检测任务上评估迁移效果）。

arXiv: 

https://www.zhuanzhi.ai/paper/ff8fc62c3b2064a52d048d5d4b25fe54

Github: https://github.com/CVMI-Lab/KDEP

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“KDEP” 就可以获取《【CVPR2022】基于知识蒸馏的高效预训练》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取70000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取70000+AI主题知识资料