基础-新类别权衡(BNT)问题在基于 CLIP 的提示调优(Prompt Tuning)优化过程中普遍存在,表现为对基础(目标)类别的持续微调会同时导致模型在新(未见)类别上的泛化能力下降。现有方法尝试通过添加约束来调节提示调优过程,以平衡 BNT 问题。然而,这些约束作用于同一目标提示,无法完全避免基础类别和新类别优化方向之间的互斥性。针对这一挑战,我们提出了一种即插即用的双提示协作(Dual-Prompt Collaboration, DPC)框架,首次在提示级别上解耦基础任务和新任务的优化过程。具体而言,我们基于骨干提示(backbone prompt)克隆了一个可学习的并行提示,并引入了一个加权解耦框架(Weighting-Decoupling Framework),以独立控制针对基础任务或新任务的双提示优化方向,从而避免泛化冲突。同时,我们提出了一种动态硬负样本优化器(Dynamic Hard Negative Optimizer),利用双提示为基础类别构建更具挑战性的优化任务,以增强模型性能。为了增强可解释性,我们证明了提示向量在优化过程中的特征通道不变性,为 DPC 的加权解耦提供了理论支持。在多个骨干模型上的广泛实验表明,DPC 能够在不引入任何外部知识的情况下,显著提升模型在基础类别上的性能,同时保持对新类别的泛化能力。代码已开源,可在以下链接获取:https://github.com/JREion/DPC。

成为VIP会员查看完整内容
10

相关内容

【NeurIPS2024】IPO: 面向视觉-语言模型的可解释提示优化
专知会员服务
21+阅读 · 2024年10月23日
【ACMMM2024】用于多媒体推荐的模态平衡学习"
专知会员服务
12+阅读 · 2024年8月14日
【CVPR2024】渐进式语义引导视觉变换器用于零样本学习
专知会员服务
19+阅读 · 2024年4月13日
【CVPR2024】掩码自解码器是有效的多任务视觉通用模型
专知会员服务
20+阅读 · 2024年3月16日
【CVPR2022】基于密集学习的半监督目标检测
专知会员服务
20+阅读 · 2022年4月19日
专知会员服务
14+阅读 · 2021年10月13日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
14+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
A Survey of Large Language Models
Arxiv
447+阅读 · 2023年3月31日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
VIP会员
相关VIP内容
【NeurIPS2024】IPO: 面向视觉-语言模型的可解释提示优化
专知会员服务
21+阅读 · 2024年10月23日
【ACMMM2024】用于多媒体推荐的模态平衡学习"
专知会员服务
12+阅读 · 2024年8月14日
【CVPR2024】渐进式语义引导视觉变换器用于零样本学习
专知会员服务
19+阅读 · 2024年4月13日
【CVPR2024】掩码自解码器是有效的多任务视觉通用模型
专知会员服务
20+阅读 · 2024年3月16日
【CVPR2022】基于密集学习的半监督目标检测
专知会员服务
20+阅读 · 2022年4月19日
专知会员服务
14+阅读 · 2021年10月13日
相关基金
国家自然科学基金
14+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员