通过提示,大规模预训练模型变得更具表达力和威力,在近年来受到了显著的关注。尽管这些大型模型具有零射击能力,但总的来说,仍需要标签数据来使它们适应下游任务。为了克服这个关键的限制,我们提出了一个无监督的微调框架,直接在未标记的目标数据上微调模型或提示。我们演示了如何通过对齐从提示和目标数据中提取的离散分布,将我们的方法应用于语言增强视觉和掩蔽语言模型。为了验证我们的方法的适用性,我们在图像分类、情感分析和自然语言推理任务上进行了大量实验。在13个与图像相关的任务和15个与语言相关的任务中,我们的方法都取得了比基线更好的一致性改善。PyTorch的代码可以在https://github.com/korawat-tanwisuth/POUF上找到。

成为VIP会员查看完整内容
27

相关内容

国际机器学习大会(International Conference on Machine Learning,简称ICML ) 是由国际机器学习学会(IMLS)主办的机器学习国际顶级会议。 2023年7月23日至29日周六在夏威夷会议中心举行。
【ICML2023】基于自然语言指令的受控文本生成
专知会员服务
21+阅读 · 4月28日
专知会员服务
17+阅读 · 2021年9月13日
专知会员服务
15+阅读 · 2021年7月13日
专知会员服务
34+阅读 · 2021年6月19日
专知会员服务
57+阅读 · 2021年4月11日
【Amazon】使用预先训练的Transformer模型进行数据增强
专知会员服务
54+阅读 · 2020年3月6日
论文浅尝 | 弱监督下极简的视觉语言预训练模型
开放知识图谱
1+阅读 · 2022年9月26日
ACL 2022 | 自描述网络的小样本命名实体识别
PaperWeekly
0+阅读 · 2022年8月13日
【KDD2022】自监督超图Transformer推荐系统
专知
0+阅读 · 2022年8月1日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
多项NLP任务新SOTA,Facebook提出预训练模型BART
机器之心
22+阅读 · 2019年11月4日
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
56+阅读 · 2019年9月16日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
5+阅读 · 2008年12月31日
Conditional Prompt Learning for Vision-Language Models
Arxiv
11+阅读 · 2022年3月10日
Arxiv
11+阅读 · 2019年6月19日
VIP会员
相关VIP内容
【ICML2023】基于自然语言指令的受控文本生成
专知会员服务
21+阅读 · 4月28日
专知会员服务
17+阅读 · 2021年9月13日
专知会员服务
15+阅读 · 2021年7月13日
专知会员服务
34+阅读 · 2021年6月19日
专知会员服务
57+阅读 · 2021年4月11日
【Amazon】使用预先训练的Transformer模型进行数据增强
专知会员服务
54+阅读 · 2020年3月6日
相关基金
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
5+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员