Recent advances in large pre-trained language models (PLMs) lead to impressive gains in natural language understanding (NLU) tasks with task-specific fine-tuning. However, directly fine-tuning PLMs heavily relies on sufficient labeled training instances, which are usually hard to obtain. Prompt-based tuning on PLMs has shown to be powerful for various downstream few-shot tasks. Existing works studying prompt-based tuning for few-shot NLU tasks mainly focus on deriving proper label words with a verbalizer or generating prompt templates to elicit semantics from PLMs. In addition, conventional data augmentation strategies such as synonym substitution, though widely adopted in low-resource scenarios, only bring marginal improvements for prompt-based few-shot learning. Thus, an important research question arises: how to design effective data augmentation methods for prompt-based few-shot tuning? To this end, considering the label semantics are essential in prompt-based tuning, we propose a novel label-guided data augmentation framework PromptDA, which exploits the enriched label semantic information for data augmentation. Extensive experiment results on few-shot text classification tasks demonstrate the superior performance of the proposed framework by effectively leveraging label semantics and data augmentation for natural language understanding. Our code is available at https://github.com/canyuchen/PromptDA.


翻译:最近,大型预训练语言模型(PLMs)的先进发展使得任务特定的微调在自然语言理解(NLU)任务中取得了令人瞩目的进展。然而,直接在PLMs上微调严重依赖于足够的标记训练实例,这通常很难获得。基于提示的PLMs微调已经显示出对各种下游少样本任务的强大影响力。研究基于提示的微调以进行少样本NLU任务的现有工作主要集中在使用verbalizer导出适当的标签单词或生成提示模板以从PLMs中诱导语义。此外,虽然在低资源场景中广泛采用的常规数据增强策略(例如同义词替换)可以带来较小的改进,但只具有有限的效果。因此,一个重要的研究问题出现了:如何为基于提示的少样本微调设计有效的数据增强方法?为此,考虑到标签语义在基于提示的调整中至关重要,我们提出了一种新颖的标签引导的数据增强框架PromptDA,该框架利用丰富的标签语义信息用于数据增强。在少样本文本分类任务上的广泛实验结果表明,所提出的框架通过有效地利用标签语义和数据增强来实现自然语言理解的卓越性能。我们的代码可在https://github.com/canyuchen/PromptDA找到。

0
下载
关闭预览

相关内容

小样本学习(Few-Shot Learning,以下简称 FSL )用于解决当可用的数据量比较少时,如何提升神经网络的性能。在 FSL 中,经常用到的一类方法被称为 Meta-learning。和普通的神经网络的训练方法一样,Meta-learning 也包含训练过程和测试过程,但是它的训练过程被称作 Meta-training 和 Meta-testing。
【CVPR2022】带噪声标签的少样本学习
专知会员服务
39+阅读 · 2022年4月15日
【CVPR 2022】视觉提示调整(VPT),Vision Prompt Tuning
专知会员服务
30+阅读 · 2022年3月12日
专知会员服务
32+阅读 · 2021年3月7日
【Google AI】开源NoisyStudent:自监督图像分类
专知会员服务
54+阅读 · 2020年2月18日
IJCAI 2022 | 使用陈述句进行视觉问答的Prompt Tuning
最新10篇对比学习推荐前沿工作
机器学习与推荐算法
2+阅读 · 2022年9月14日
NAACL 2022 | 基于Prompt的文本生成迁移学习
PaperWeekly
1+阅读 · 2022年8月31日
【KDD2022】GraphMAE:自监督掩码图自编码器
专知
7+阅读 · 2022年6月12日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
4+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
UNITER: Learning UNiversal Image-TExt Representations
Arxiv
23+阅读 · 2019年9月25日
VIP会员
相关资讯
IJCAI 2022 | 使用陈述句进行视觉问答的Prompt Tuning
最新10篇对比学习推荐前沿工作
机器学习与推荐算法
2+阅读 · 2022年9月14日
NAACL 2022 | 基于Prompt的文本生成迁移学习
PaperWeekly
1+阅读 · 2022年8月31日
【KDD2022】GraphMAE:自监督掩码图自编码器
专知
7+阅读 · 2022年6月12日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
4+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员