【Salesforce】最新《小样本自然语言处理的元学习》综述论文

小样本自然语言处理(NLP)是指NLP任务只具有少量标注的样例。这是人工智能系统必须学会处理的现实挑战。通常我们依赖于收集更多的辅助信息或开发一个更有效的学习算法。然而，在高容量模型中，一般基于梯度的优化，如果从头开始训练，需要对大量带标记的样例进行很多参数更新步骤，才能表现良好(Snell et al.， 2017)。

如果目标任务本身不能提供更多的信息，如何收集更多带有丰富标注的任务来帮助模型学习?元学习的目标是训练一个模型在各种任务上使用丰富的标注，这样它就可以用少量标记的样本解决一个新的任务。关键思想是训练模型的初始参数，这样当参数通过零阶或几个梯度步骤更新后，模型在新任务上有最大的性能。

已经有一些关于元学习的综述，例如(Vilalta和Drissi, 2002;Vanschoren, 2018;Hospedales等，2020)。然而，本文的研究主要集中在NLP领域，尤其是小样本的应用。本文试图对元学习应用于较少次数的神经语言处理提供更清晰的定义、进展总结和一些常用的数据集。

https://arxiv.org/abs/2007.09604

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“MLFS” 可以获取《【Salesforce】最新《小样本自然语言处理的元学习》综述论文》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“阅读原文”，了解使用专知，查看获取5000+AI主题知识资源