最近,预训练的视觉语言模型(例如,CLIP)在少样本学习中表现出巨大的潜力,并吸引了大量研究兴趣。尽管已经有努力改进CLIP的少样本能力,但现有方法的关键因素的有效性尚未被充分研究,这限制了进一步探索CLIP在少样本学习中的潜力。在本文中,我们首先介绍了一个统一的公式,从对数偏差的角度分析基于CLIP的少样本学习方法,这促使我们学习一个有效的对数偏差,以进一步提高基于CLIP的少样本学习方法的性能。为此,我们拆解了计算对数偏差中涉及的三个关键组成部分(即,对数特征、对数预测器和对数融合),并从实证上分析了它们对少样本分类性能的影响。基于关键组件的分析,本文提出了一种新颖的AMU-Tuning方法,用于学习有效的对数偏差,用于基于CLIP的少样本分类。具体来说,我们的AMU-Tuning通过利用适当的辅助特征来预测对数偏差,这些特征被送入一个高效的多分支训练的特征初始化线性分类器。最后,开发了一种基于不确定性的融合方法,将对数偏差整合到CLIP中进行少样本分类。实验在几个广泛使用的基准测试上进行,结果显示AMU-Tuning在性能上明显优于其竞争对手,同时实现了基于CLIP的少样本学习的最先进性能,无需任何花哨的技巧。

成为VIP会员查看完整内容
18

相关内容

【CVPR2024】医学基础模型的低秩知识分解
专知会员服务
31+阅读 · 4月29日
【CVPR2022】EDTER:基于Transformer的边缘检测(CVPR2022)
专知会员服务
32+阅读 · 2022年3月18日
专知会员服务
19+阅读 · 2021年8月30日
专知会员服务
11+阅读 · 2021年7月16日
专知会员服务
15+阅读 · 2021年7月7日
【WSDM2021】基于演化状态图的时间序列事件预测
专知会员服务
50+阅读 · 2020年12月1日
【ACL2020-Google】逆向工程配置的神经文本生成模型
专知会员服务
16+阅读 · 2020年4月20日
【AAAI2023】用于图对比学习的谱特征增强
专知
18+阅读 · 2022年12月11日
【Tutorial】计算机视觉中的Transformer,98页ppt
专知
17+阅读 · 2021年10月25日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
【CVPR 2020 Oral】小样本类增量学习
专知
16+阅读 · 2020年6月26日
【CVPR2019】弱监督图像分类建模
深度学习大讲堂
37+阅读 · 2019年7月25日
使用CNN生成图像先验实现场景的盲图像去模糊
统计学习与视觉计算组
10+阅读 · 2018年6月14日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
140+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
343+阅读 · 2023年3月31日
Arxiv
57+阅读 · 2023年3月26日
Arxiv
121+阅读 · 2023年3月24日
Arxiv
18+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【CVPR2024】医学基础模型的低秩知识分解
专知会员服务
31+阅读 · 4月29日
【CVPR2022】EDTER:基于Transformer的边缘检测(CVPR2022)
专知会员服务
32+阅读 · 2022年3月18日
专知会员服务
19+阅读 · 2021年8月30日
专知会员服务
11+阅读 · 2021年7月16日
专知会员服务
15+阅读 · 2021年7月7日
【WSDM2021】基于演化状态图的时间序列事件预测
专知会员服务
50+阅读 · 2020年12月1日
【ACL2020-Google】逆向工程配置的神经文本生成模型
专知会员服务
16+阅读 · 2020年4月20日
相关资讯
【AAAI2023】用于图对比学习的谱特征增强
专知
18+阅读 · 2022年12月11日
【Tutorial】计算机视觉中的Transformer,98页ppt
专知
17+阅读 · 2021年10月25日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
【CVPR 2020 Oral】小样本类增量学习
专知
16+阅读 · 2020年6月26日
【CVPR2019】弱监督图像分类建模
深度学习大讲堂
37+阅读 · 2019年7月25日
使用CNN生成图像先验实现场景的盲图像去模糊
统计学习与视觉计算组
10+阅读 · 2018年6月14日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员