提示学习已成为增强视觉-语言模型(如CLIP)用于特定领域下游任务的宝贵技术。现有工作主要集中在设计各种学习形式的提示上,忽略了提示作为从更大教师模型学习的有效蒸馏器的潜力。在本文中,我们介绍了一个无监督领域提示蒸馏框架,旨在通过使用未标记领域图像的提示驱动模仿,将较大教师模型的知识转移到轻量级目标模型上。具体来说,我们的框架包含两个不同阶段。在初始阶段,我们使用领域(小样本)标签预训练一个大型CLIP教师模型。预训练后,我们利用CLIP独特的解耦模态特性,通过教师文本编码器一次性预计算并存储文本特征作为类向量。在后续阶段,存储的类向量在教师和学生图像编码器之间共享,用于计算预测的logits。此外,我们通过KL散度对齐教师和学生模型的logits,鼓励学生图像编码器通过可学习的提示生成与教师相似的概率分布。提出的提示蒸馏过程消除了对标记数据的依赖,使算法能够利用领域内大量的未标记图像。最后,训练良好的学生图像编码器和预存储的文本特征(类向量)用于推理。据我们所知,我们是第一个(1)为CLIP执行无监督领域特定提示驱动的知识蒸馏,以及(2)建立文本特征作为教师和学生之间共享的类向量的实用预存储机制的。在11个数据集上的广泛实验证明了我们方法的有效性。代码可在https://github.com/zhengli97/PromptKD公开获取。

https://www.zhuanzhi.ai/paper/b8be501403f12a07dab22fdf0bb2ae7f

成为VIP会员查看完整内容
16

相关内容

【CVPR2024】MoReVQA:探索视频问答的模块化推理模型
【KDD2023】学习语言表示用于序列推荐
专知会员服务
9+阅读 · 2023年5月27日
【CVPR2022】提示分布学习
专知会员服务
29+阅读 · 2022年5月17日
UTC: 用于视觉对话的任务间对比学习的统一Transformer
专知会员服务
13+阅读 · 2022年5月4日
【NeurIPS2021】用于视频分割的密集无监督学习
专知会员服务
14+阅读 · 2021年11月14日
【AAAI2023】用于图对比学习的谱特征增强
专知
18+阅读 · 2022年12月11日
【Tutorial】计算机视觉中的Transformer,98页ppt
专知
18+阅读 · 2021年10月25日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
使用CNN生成图像先验实现场景的盲图像去模糊
统计学习与视觉计算组
10+阅读 · 2018年6月14日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
33+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
145+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
362+阅读 · 2023年3月31日
Arxiv
60+阅读 · 2023年3月26日
Arxiv
128+阅读 · 2023年3月24日
Arxiv
19+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【CVPR2024】MoReVQA:探索视频问答的模块化推理模型
【KDD2023】学习语言表示用于序列推荐
专知会员服务
9+阅读 · 2023年5月27日
【CVPR2022】提示分布学习
专知会员服务
29+阅读 · 2022年5月17日
UTC: 用于视觉对话的任务间对比学习的统一Transformer
专知会员服务
13+阅读 · 2022年5月4日
【NeurIPS2021】用于视频分割的密集无监督学习
专知会员服务
14+阅读 · 2021年11月14日
相关资讯
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
33+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员