http://cea.ceaj.org/CN/abstract/abstract39198.shtml

近年来,深度学习技术被广泛应用于各个领域,基于深度学习的预处理模型将自然语言处理带入一个新时代。预训练模型的目标是如何使预训练好的模型处于良好的初始状态,在下游任务中达到更好的性能表现。对预训练技术及其发展历史进行介绍,并按照模型特点划分为基于概率统计的传统模型和基于深度学习的新式模型进行综述;简要分析传统预训练模型的特点及局限性,重点介绍基于深度学习的预训练模型,并针对它们在下游任务的表现进行对比评估;梳理出具有启发意义的新式预训练模型,简述这些模型的改进机制以及在下游任务中取得的性能提升;总结目前预训练的模型所面临的问题,并对后续发展趋势进行展望。

成为VIP会员查看完整内容
117

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
注意力机制综述
专知会员服务
200+阅读 · 2021年1月26日
专知会员服务
50+阅读 · 2021年1月19日
专知会员服务
43+阅读 · 2021年1月18日
多模态视觉语言表征学习研究综述
专知会员服务
189+阅读 · 2020年12月3日
专知会员服务
24+阅读 · 2020年9月11日
实体关系抽取方法研究综述
专知会员服务
174+阅读 · 2020年7月19日
【北航】面向自然语言处理的预训练技术研究综述
专知会员服务
112+阅读 · 2020年4月23日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
228+阅读 · 2019年10月12日
深度学习模型可解释性的研究进展
专知
23+阅读 · 2020年8月1日
【论文笔记】NLP 预训练模型综述
深度学习自然语言处理
8+阅读 · 2020年5月14日
【中科院】命名实体识别技术综述
专知
16+阅读 · 2020年4月21日
NLP领域预训练模型的现状及分析
AI科技评论
5+阅读 · 2019年11月1日
NLP领域中的迁移学习现状
AI科技评论
7+阅读 · 2019年9月1日
自然语言处理中注意力机制综述
AINLP
27+阅读 · 2019年1月21日
基于深度学习的NLP 32页最新进展综述,190篇参考文献
人工智能学家
27+阅读 · 2018年12月4日
Arxiv
5+阅读 · 2021年2月8日
Arxiv
14+阅读 · 2020年9月1日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Arxiv
22+阅读 · 2018年8月30日
VIP会员
相关VIP内容
注意力机制综述
专知会员服务
200+阅读 · 2021年1月26日
专知会员服务
50+阅读 · 2021年1月19日
专知会员服务
43+阅读 · 2021年1月18日
多模态视觉语言表征学习研究综述
专知会员服务
189+阅读 · 2020年12月3日
专知会员服务
24+阅读 · 2020年9月11日
实体关系抽取方法研究综述
专知会员服务
174+阅读 · 2020年7月19日
【北航】面向自然语言处理的预训练技术研究综述
专知会员服务
112+阅读 · 2020年4月23日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
228+阅读 · 2019年10月12日
相关资讯
相关论文
Arxiv
5+阅读 · 2021年2月8日
Arxiv
14+阅读 · 2020年9月1日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Arxiv
22+阅读 · 2018年8月30日
微信扫码咨询专知VIP会员