摘要:随着自然语言处理(NLP)领域中预训练技术的快速发展,将外部知识引入到预训练语言模型的知识驱动方法在NLP任务中表现优异,知识表示学习和预训练技术为知识融合的预训练方法提供了理论依据。概述目前经典预训练方法的相关研究成果,分析在新兴预训练技术支持下具有代表性的知识感知的预训练语言模型,分别介绍引入不同外部知识的预训练语言模型,并结合相关实验数据评估知识感知的预训练语言模型在NLP各个下游任务中的性能表现。在此基础上,分析当前预训练语言模型发展过程中所面临的问题和挑战,并对领域发展前景进行展望。

http://www.ecice06.com/CN/10.19678/j.issn.1000-3428.0060823

成为VIP会员查看完整内容
49

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
79+阅读 · 2021年10月15日
专知会员服务
55+阅读 · 2021年10月12日
专知会员服务
79+阅读 · 2021年8月20日
专知会员服务
63+阅读 · 2021年5月29日
专知会员服务
59+阅读 · 2021年5月28日
专知会员服务
78+阅读 · 2021年5月27日
专知会员服务
68+阅读 · 2021年5月21日
专知会员服务
47+阅读 · 2020年12月26日
专知会员服务
112+阅读 · 2020年12月9日
多模态视觉语言表征学习研究综述
专知会员服务
185+阅读 · 2020年12月3日
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
基于深度学习的单目深度估计综述
CVer
4+阅读 · 2020年10月6日
深度学习模型可解释性的研究进展
专知
21+阅读 · 2020年8月1日
实体关系抽取方法研究综述
专知
11+阅读 · 2020年7月19日
知识图谱最新研究综述
深度学习自然语言处理
44+阅读 · 2020年6月14日
论文解读|知识图谱最新研究综述
AINLP
17+阅读 · 2020年5月4日
【中科院】命名实体识别技术综述
专知
16+阅读 · 2020年4月21日
Arxiv
39+阅读 · 2021年11月11日
Arxiv
14+阅读 · 2021年8月5日
Arxiv
16+阅读 · 2020年5月20日
VIP会员
相关VIP内容
专知会员服务
79+阅读 · 2021年10月15日
专知会员服务
55+阅读 · 2021年10月12日
专知会员服务
79+阅读 · 2021年8月20日
专知会员服务
63+阅读 · 2021年5月29日
专知会员服务
59+阅读 · 2021年5月28日
专知会员服务
78+阅读 · 2021年5月27日
专知会员服务
68+阅读 · 2021年5月21日
专知会员服务
47+阅读 · 2020年12月26日
专知会员服务
112+阅读 · 2020年12月9日
多模态视觉语言表征学习研究综述
专知会员服务
185+阅读 · 2020年12月3日
相关资讯
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
基于深度学习的单目深度估计综述
CVer
4+阅读 · 2020年10月6日
深度学习模型可解释性的研究进展
专知
21+阅读 · 2020年8月1日
实体关系抽取方法研究综述
专知
11+阅读 · 2020年7月19日
知识图谱最新研究综述
深度学习自然语言处理
44+阅读 · 2020年6月14日
论文解读|知识图谱最新研究综述
AINLP
17+阅读 · 2020年5月4日
【中科院】命名实体识别技术综述
专知
16+阅读 · 2020年4月21日
微信扫码咨询专知VIP会员