自然语言处理中的预训练模型

论文:【复旦大学】最新《预训练语言模型》2020综述论文大全,50+PTMs分类体系,25页pdf205篇参考文献

目前预训练模型在自然语言处理领域取得了广泛的成功。本报告的内容主要涵盖以下4部分内容:1)预训练模型的原理介绍,包括模型结构、学习准则、发展历程等;2)预训练模型的迁移方法:包括如何通过任务转换、多步迁移、改进精调等方法来进一步提高预训练模型在下游任务上的性能;3)预训练模型的改进模型:包括知识嵌入模型、多模态模型、多语言模型、语言特定模型、领域特定模型和模型压缩等;4)对预训练模型及其未来发展趋势进行展望。

成为VIP会员查看完整内容
121

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【NLPCC2020-微软】自然语言处理机器推理,124页ppt
专知会员服务
45+阅读 · 2020年10月20日
深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
208+阅读 · 2020年4月26日
【北航】面向自然语言处理的预训练技术研究综述
专知会员服务
111+阅读 · 2020年4月23日
专知会员服务
197+阅读 · 2020年3月6日
神经网络与深度学习,复旦大学邱锡鹏老师
专知会员服务
115+阅读 · 2019年9月24日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
NLP预训练模型大集合!
黑龙江大学自然语言处理实验室
6+阅读 · 2018年12月31日
A Modern Introduction to Online Learning
Arxiv
19+阅读 · 2019年12月31日
Arxiv
6+阅读 · 2019年3月19日
Arxiv
5+阅读 · 2018年5月22日
Arxiv
8+阅读 · 2018年1月30日
VIP会员
相关论文
A Modern Introduction to Online Learning
Arxiv
19+阅读 · 2019年12月31日
Arxiv
6+阅读 · 2019年3月19日
Arxiv
5+阅读 · 2018年5月22日
Arxiv
8+阅读 · 2018年1月30日
微信扫码咨询专知VIP会员