Recently, the emergence of pre-trained models (PTMs) has brought natural language processing (NLP) to a new era. In this survey, we provide a comprehensive review of PTMs for NLP. We first briefly introduce language representation learning and its research progress. Then we systematically categorize existing PTMs based on a taxonomy with four perspectives. Next, we describe how to adapt the knowledge of PTMs to the downstream tasks. Finally, we outline some potential directions of PTMs for future research. This survey is purposed to be a hands-on guide for understanding, using, and developing PTMs for various NLP tasks.


翻译:最近,经过培训的模型(PTMs)的出现使自然语言处理(NLP)进入了一个新时代。在本次调查中,我们为NLP提供了对PTM的全面审查。我们首先简要地介绍了语言代表学习及其研究进展。然后,我们从四个角度对现有的PTM进行系统分类。接下来,我们描述如何使PTM的知识适应下游任务。最后,我们为今后的研究概述了PTM的一些潜在方向。这次调查旨在成为理解、使用和开发用于各种NLP任务的PTM的实用指南。

100
下载
关闭预览

相关内容

Processing 是一门开源编程语言和与之配套的集成开发环境(IDE)的名称。Processing 在电子艺术和视觉设计社区被用来教授编程基础,并运用于大量的新媒体和互动艺术作品中。
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
105+阅读 · 2019年10月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
59+阅读 · 2019年10月10日
Transferring Knowledge across Learning Processes
CreateAMind
12+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
【论文】变分推断(Variational inference)的总结
机器学习研究会
29+阅读 · 2017年11月16日
【论文】图上的表示学习综述
机器学习研究会
10+阅读 · 2017年9月24日
Arxiv
3+阅读 · 2018年12月18日
Arxiv
44+阅读 · 2018年12月11日
Arxiv
4+阅读 · 2018年1月18日
VIP会员
相关VIP内容
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
105+阅读 · 2019年10月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
59+阅读 · 2019年10月10日
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
12+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
【论文】变分推断(Variational inference)的总结
机器学习研究会
29+阅读 · 2017年11月16日
【论文】图上的表示学习综述
机器学习研究会
10+阅读 · 2017年9月24日
Top
微信扫码咨询专知VIP会员