Transformer 模型的自监督预训练已经彻底改变了NLP的应用。这种语言建模目标的预训练为参数提供了一个有用的初始化,这些参数可以很好地推广到新的任务中。然而,微调仍然是数据效率低下的——当有标记的例子很少时,准确性可能会很低。数据效率可以通过优化预训练;这可以看作是一个元学习问题。然而,标准的元学习技术需要许多训练任务才能泛化;不幸的是,找到一组不同的这样的监督任务通常是困难的。本文提出了一种自监督的方法,从无标记文本生成一个庞大的,丰富的元学习任务分布。这是使用closize风格的目标实现的,但是通过从少数词汇表术语中收集待删除的标记来创建单独的多类分类任务。这产生的唯一元训练任务与词汇术语子集的数量一样多。我们使用最近的元学习框架对任务分配的transformer模型进行元训练。在17个NLP任务中,我们表明,这种元训练比语言模型前训练后的精细化能产生更好的少样本泛化效果。此外,我们还展示了如何将自监督任务与监督任务结合起来进行元学习,从而比之前的监督元学习获得了更大的准确性。

https://arxiv.org/abs/2009.08445

成为VIP会员查看完整内容
29

相关内容

自监督学习(self-supervised learning)可以被看作是机器学习的一种“理想状态”,模型直接从无标签数据中自行学习,无需标注数据。
专知会员服务
18+阅读 · 2020年10月13日
【KDD2020-UCLA-微软】GPT-GNN:图神经网络的预训练
专知会员服务
61+阅读 · 2020年8月19日
《小样本元学习》2020最新综述论文
专知会员服务
172+阅读 · 2020年7月31日
【ICML2020】统一预训练伪掩码语言模型
专知会员服务
25+阅读 · 2020年7月23日
专知会员服务
84+阅读 · 2020年1月20日
【基于元学习的推荐系统】5篇相关论文
专知
9+阅读 · 2020年1月20日
机器也能学会如何学习?——元学习介绍
AINLP
19+阅读 · 2019年9月22日
Meta-Learning 元学习:学会快速学习
专知
24+阅读 · 2018年12月8日
NLP通用模型诞生?一个模型搞定十大自然语言常见任务
人工智能头条
10+阅读 · 2018年6月29日
OpenAI NLP最新进展:通过无监督学习提升语言理解
人工智能头条
6+阅读 · 2018年6月18日
OpenAI提出Reptile:可扩展的元学习算法
深度学习世界
7+阅读 · 2018年3月9日
Arxiv
14+阅读 · 2019年9月11日
Arxiv
5+阅读 · 2019年4月21日
Meta-Transfer Learning for Few-Shot Learning
Arxiv
4+阅读 · 2019年4月9日
Paraphrase Generation with Deep Reinforcement Learning
Arxiv
11+阅读 · 2018年7月8日
VIP会员
相关VIP内容
专知会员服务
18+阅读 · 2020年10月13日
【KDD2020-UCLA-微软】GPT-GNN:图神经网络的预训练
专知会员服务
61+阅读 · 2020年8月19日
《小样本元学习》2020最新综述论文
专知会员服务
172+阅读 · 2020年7月31日
【ICML2020】统一预训练伪掩码语言模型
专知会员服务
25+阅读 · 2020年7月23日
专知会员服务
84+阅读 · 2020年1月20日
相关论文
微信扫码咨询专知VIP会员