对比视觉-语言预训练,即CLIP,展现了在感知开放世界视觉概念方面的显著潜力,实现了有效的零样本图像识别。然而,基于CLIP的小样本学习方法通常需要在少量样本上进行离线微调参数,这导致了更长的推理时间和在某些领域过拟合的风险。为了应对这些挑战,我们提出了Meta-Adapter,一种轻量级的残差风格适配器,用以指导少样本在线细化CLIP特征。通过少量的训练样本,我们的方法可以实现有效的小样本学习能力,并且在没有额外微调的情况下泛化到未见过的数据或任务,达到了具有竞争力的性能和高效率。我们的方法不需要复杂的附加功能,就在八个图像分类数据集上平均超过了最新的在线小样本学习方法3.6%的性能,并且具有更高的推理速度。此外,我们的模型简单灵活,可作为直接适用于下游任务的即插即用模块。在无需进一步微调的情况下,Meta-Adapter在开放词汇的对象检测和分割任务中取得了显著的性能提升。

https://www.zhuanzhi.ai/paper/988c88672e1bfafaceee944b23e8228e

成为VIP会员查看完整内容
23

相关内容

【普林斯顿】基于大型语言模型的语言智能体认知架构
专知会员服务
67+阅读 · 2023年9月6日
【ICML2023】基于最优多任务插值的多模态基础模型迁移
专知会员服务
30+阅读 · 2023年4月29日
【NeurIPS2022】基于结构聚类的自监督异构图预训练
专知会员服务
23+阅读 · 2022年10月20日
面向自然语言处理的知识图谱嵌入:从理论到实践
专知会员服务
51+阅读 · 2022年10月16日
专知会员服务
18+阅读 · 2021年9月23日
专知会员服务
18+阅读 · 2021年9月13日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
37+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2008年12月31日
Arxiv
155+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
397+阅读 · 2023年3月31日
Arxiv
66+阅读 · 2023年3月26日
Arxiv
137+阅读 · 2023年3月24日
Arxiv
19+阅读 · 2023年3月17日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
37+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员