预训练的对比视觉-语言模型在广泛的任务中展示了卓越的性能。然而,它们经常在未在预训练期间充分表示的类别上的微调数据集上遇到困难,这使得适应变得必要。近期的研究通过使用来自网络规模数据库的样本进行检索增强适应,显示了在低数据环境下的有希望的结果。尽管经验上取得了成功,理解检索如何影响视觉-语言模型的适应仍是一个开放的研究问题。在这项工作中,我们通过呈现一个系统研究来采用反思性视角,理解检索增强适应中关键组件的角色。我们揭示了关于单模态和跨模态检索的新见解,并强调了对有效适应至关重要的逻辑集合的作用。我们进一步提出了直接支持我们经验观察的理论基础。

https://www.zhuanzhi.ai/paper/115cd78619f4df0ed80226da85a630f3

成为VIP会员查看完整内容
20

相关内容

【CVPR2024】视觉-语言模型的高效测试时间调整
专知会员服务
18+阅读 · 3月30日
【KDD2023】协同过滤的高效联合超参数和架构搜索
专知会员服务
21+阅读 · 2023年7月23日
专知会员服务
21+阅读 · 2021年9月27日
专知会员服务
38+阅读 · 2021年5月16日
【SIGIR2021】基于嵌入的增量式时序知识图谱补全框架
专知会员服务
60+阅读 · 2021年4月21日
专知会员服务
19+阅读 · 2021年3月12日
【KDD2020】动态知识图谱的多事件预测
专知
88+阅读 · 2020年8月31日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
国家自然科学基金
38+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
22+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
Arxiv
145+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
362+阅读 · 2023年3月31日
Arxiv
128+阅读 · 2023年3月24日
Arxiv
19+阅读 · 2023年3月17日
Arxiv
68+阅读 · 2022年9月7日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
VIP会员
相关VIP内容
【CVPR2024】视觉-语言模型的高效测试时间调整
专知会员服务
18+阅读 · 3月30日
【KDD2023】协同过滤的高效联合超参数和架构搜索
专知会员服务
21+阅读 · 2023年7月23日
专知会员服务
21+阅读 · 2021年9月27日
专知会员服务
38+阅读 · 2021年5月16日
【SIGIR2021】基于嵌入的增量式时序知识图谱补全框架
专知会员服务
60+阅读 · 2021年4月21日
专知会员服务
19+阅读 · 2021年3月12日
相关基金
国家自然科学基金
38+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
22+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
相关论文
Arxiv
145+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
362+阅读 · 2023年3月31日
Arxiv
128+阅读 · 2023年3月24日
Arxiv
19+阅读 · 2023年3月17日
Arxiv
68+阅读 · 2022年9月7日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
微信扫码咨询专知VIP会员