摘要:随着自然语言处理(NLP)领域中预训练技术的快速发展,将外部知识引入到预训练语言模型的知识驱动方法在NLP任务中表现优异,知识表示学习和预训练技术为知识融合的预训练方法提供了理论依据。概述目前经典预训练方法的相关研究成果,分析在新兴预训练技术支持下具有代表性的知识感知的预训练语言模型,分别介绍引入不同外部知识的预训练语言模型,并结合相关实验数据评估知识感知的预训练语言模型在NLP各个下游任务中的性能表现。在此基础上,分析当前预训练语言模型发展过程中所面临的问题和挑战,并对领域发展前景进行展望。

http://www.ecice06.com/CN/10.19678/j.issn.1000-3428.0060823

成为VIP会员查看完整内容
0
29

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

导读:本文将参考上述综述论文,从预训练语言模型应用于文本生成任务的三个挑战出发:

如何对输入数据进行编码并保持语义,使其与预训练语言模型进行融合; 如何设计通用且合适的预训练语言模型架构,使其作为生成函数; 如何优化生成函数,并保证生成文本满足特殊属性。 并详细列举目前每个挑战下的研究进展。

文本生成是目前自然语言处理领域一项非常重要但具有挑战性的任务,它的目的是希望生成可读的自然语言文本,比较有代表性的应用,例如对话系统、文本摘要和机器翻译等。

目前,深度神经模型在文本生成研究中已取得重大进展,其优势在于深度神经网络可以端到端地学习输入数据到输出文本的语义映射,而不需要人工参与进行特征工程。但是,深度神经模型往往具有大量的参数,而大部分文本生成任务数据集都非常小,因此深度神经网络非常容易在这些数据集上过拟合,导致其无法在实际应用中进行泛化。

随着预训练语言模型(Pretrained Language Models, PLMs)范式的蓬勃发展,越来越多的研究将其运用到各种自然语言处理任务中以取得SOTA效果,例如BERT解决语言理解和GPT解决语言生成。通过在大规模语料集上进行预训练,预训练语言模型可以准确地理解自然语言并以自然语言的形式流畅表达,这两项都是完成文本生成任务的重要能力。

成为VIP会员查看完整内容
0
39

摘要 预训练技术当前在自然语言处理领域占有举足轻重的位置。尤其近两年提出的ELMo、GTP、BERT、XLNet、T5、GTP-3等预训练模型的成功,进一步将预训练技术推向了研究高潮。该文从语言模型、特征抽取器、上下文表征、词表征四个方面对现存的主要预训练技术进行了分析和分类,并分析了当前自然语言处理中的预训练技术面临的主要问题和发展趋势。

http://jcip.cipsc.org.cn/CN/abstract/abstract3187.shtml

成为VIP会员查看完整内容
0
30

在目前已发表的自然语言处理预训练技术综述中,大多数文章仅介绍神经网络预训练技术或者极简单介绍传统预训练技术,存在人为割裂自然语言预训练发展历程。为此,以自然语言预训练发展历程为主线,从以下四方面展开工作:首先,依据预训练技术更新路线,介绍了传统自然语言预训练技术与神经网络预训练技术,并对相关技术特点进行分析、比较,从中归纳出自然语言处理技术的发展脉络与趋势;其次,主要从两方面介绍了基于BERT改进的自然语言处理模型,并对这些模型从预训练机制、优缺点、性能等方面进行总结;再者,对自然语言处理的主要应用领域发展进行了介绍,并阐述了自然语言处理目前面临的挑战与相应解决办法;最后,总结工作,预测了自然语言处理的未来发展方向。旨在帮助科研工作者更全面地了解自然语言预训练技术发展历程,继而为新模型、新预训练方法的提出提供一定思路。

http://fcst.ceaj.org/CN/abstract/abstract2823.shtml

成为VIP会员查看完整内容
0
31

自然语言生成(NLG)技术利用人工智能和语言学的方法来自动地生成可理解的自然语言文本。NLG降低了人类和计算机之间沟通的难度,被广泛应用于机器新闻写作、聊天机器人等领域,已经成为人工智能的研究热点之一。首先,列举了当前主流的NLG的方法和模型,并详细对比了这些方法和模型的优缺点;然后,分别针对文本到文本、数据到文本和图像到文本等三种NLG技术,总结并分析了应用领域、存在的问题和当前的研究进展;进而,阐述了上述生成技术的常用评价方法及其适用范围;最后,给出了当前NLG技术的发展趋势和研究难点。

http://www.joca.cn/CN/abstract/abstract24496.shtml

成为VIP会员查看完整内容
0
40

近年来,深度学习技术得到了快速发展。在自然语言处理(NLP)任务中,随着文本表征技术从词级上升到了文档级,利用大规模语料库进行无监督预训练的方式已被证明能够有效提高模型在下游任务中的性能。首先,根据文本特征提取技术的发展,从词级和文档级对典型的模型进行了分析;其次,从预训练目标任务和下游应用两个阶段,分析了当前预训练模型的研究现状,并对代表性的模型特点进行了梳理和归纳;最后,总结了当前预训练模型发展所面临的主要挑战并提出了对未来的展望。

http://www.joca.cn/CN/abstract/abstract24426.shtml

成为VIP会员查看完整内容
0
42

因果关系抽取是自然语言处理(NLP)中的一种关系抽取任务,它通过构造事件图来挖掘文本中具有因果关系的事件对,已经在金融、安全、生物等领域的应用中发挥重要作用。首先,介绍了事件抽取和因果关系等概念,并介绍了因果关系抽取主流方法的演变和常用数据集;然后,列举了当前主流的因果关系抽取模型,并且在分别对基于流水线的模型和联合抽取模型进行详细分析的基础上,对比了各种方法和模型的优缺点;此外,对各模型的实验性能及相关实验数据进行了归纳分析;最后,给出了当前的因果关系抽取的研究难点和未来的重点研究方向。

http://www.joca.cn/CN/abstract/abstract24491.shtml

成为VIP会员查看完整内容
0
47

对话系统作为人机交互的重要方式,有着广泛的应用前景。现有的对话系统专注于解决语义一致性和内容丰富性等问题,对于提高人机交互以及产生人机共鸣方向的研究关注度不高。如何让生成的语句在具有语义相关性的基础上更自然地与用户交流是当前对话系统面临的主要问题之一。首先对对话系统进行了整体情况的概括。接着介绍了情感对话系统中的对话情绪感知和情感对话生成两大任务,并分别调研归纳了相关方法。对话情绪感知任务大致分为基于上下文和基于用户信息两类方法。情感对话生成的方法包括规则匹配算法、指定情感回复的生成模型和不指定情感回复的生成模型,并从情绪数据类别和模型方法等方面进行了对比分析。然后总结整理了两大任务下数据集的特点和链接便于后续的研究,并归纳了当前情感对话系统中不同的评估方法。最后对情感对话系统的工作进行了总结和展望。

http://fcst.ceaj.org/CN/abstract/abstract2684.shtml

成为VIP会员查看完整内容
0
44

零样本学习旨在通过运用已学到的已知类知识去认知未知类.近年来,“数据+知识驱动”已经成为当下的新潮流,而在计算机视觉领域内的零样本任务中,“知识”本身却缺乏统一明确的定义.本文针对这种情况,尝试从知识的角度出发,梳理了本领域内“知识”这一概念所覆盖的范畴,共划分为初级知识、抽象知识以及外部知识.基于前面对知识的定义和划分梳理了当前的零样本学习(主要是图像分类任务的模型)工作,分为基于初级知识的零样本模型、基于抽象知识的零样本模型以及引入外部知识的零样本模型.本文还对领域内存在的域偏移和枢纽点问题进行了阐述,并基于问题对现有工作进行了总结归纳.最后总结了目前常用的图像分类任务的数据集和知识库,图像分类实验评估标准以及代表性的模型实验结果;并对未来工作进行了展望.

http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6146&flag=1

成为VIP会员查看完整内容
0
31

http://cea.ceaj.org/CN/abstract/abstract39198.shtml

近年来,深度学习技术被广泛应用于各个领域,基于深度学习的预处理模型将自然语言处理带入一个新时代。预训练模型的目标是如何使预训练好的模型处于良好的初始状态,在下游任务中达到更好的性能表现。对预训练技术及其发展历史进行介绍,并按照模型特点划分为基于概率统计的传统模型和基于深度学习的新式模型进行综述;简要分析传统预训练模型的特点及局限性,重点介绍基于深度学习的预训练模型,并针对它们在下游任务的表现进行对比评估;梳理出具有启发意义的新式预训练模型,简述这些模型的改进机制以及在下游任务中取得的性能提升;总结目前预训练的模型所面临的问题,并对后续发展趋势进行展望。

成为VIP会员查看完整内容
0
82
小贴士
相关VIP内容
专知会员服务
39+阅读 · 2021年10月15日
专知会员服务
30+阅读 · 2021年10月12日
专知会员服务
31+阅读 · 2021年8月20日
专知会员服务
40+阅读 · 2021年5月29日
专知会员服务
42+阅读 · 2021年5月28日
专知会员服务
47+阅读 · 2021年5月27日
专知会员服务
44+阅读 · 2021年5月21日
专知会员服务
31+阅读 · 2020年12月26日
专知会员服务
82+阅读 · 2020年12月9日
专知会员服务
103+阅读 · 2020年12月3日
相关资讯
多模态视觉语言表征学习研究综述
专知
12+阅读 · 2020年12月3日
基于深度学习的单目深度估计综述
CVer
4+阅读 · 2020年10月6日
深度学习模型可解释性的研究进展
专知
15+阅读 · 2020年8月1日
实体关系抽取方法研究综述
专知
7+阅读 · 2020年7月19日
知识图谱最新研究综述
深度学习自然语言处理
33+阅读 · 2020年6月14日
论文解读|知识图谱最新研究综述
AINLP
13+阅读 · 2020年5月4日
【中科院】命名实体识别技术综述
专知
14+阅读 · 2020年4月21日
相关论文
Yang Liu,Yao Zhang,Yixin Wang,Feng Hou,Jin Yuan,Jiang Tian,Yang Zhang,Zhongchao Shi,Jianping Fan,Zhiqiang He
19+阅读 · 2021年11月11日
Katikapalli Subramanyam Kalyan,Ajit Rajasekharan,Sivanesan Sangeetha
18+阅读 · 2021年8月12日
Yixin Liu,Shirui Pan,Ming Jin,Chuan Zhou,Feng Xia,Philip S. Yu
12+阅读 · 2021年8月5日
Zhicheng Huang,Zhaoyang Zeng,Yupan Huang,Bei Liu,Dongmei Fu,Jianlong Fu
10+阅读 · 2021年4月7日
Jindong Wang,Cuiling Lan,Chang Liu,Yidong Ouyang,Tao Qin
25+阅读 · 2021年3月10日
Shaoxiong Ji,Shirui Pan,Erik Cambria,Pekka Marttinen,Philip S. Yu
28+阅读 · 2021年1月17日
Kamran Kowsari,Kiana Jafari Meimandi,Mojtaba Heidarysafa,Sanjana Mendu,Laura E. Barnes,Donald E. Brown
11+阅读 · 2020年5月20日
Yuting Wu,Xiao Liu,Yansong Feng,Zheng Wang,Dongyan Zhao
3+阅读 · 2019年9月20日
Analysis Methods in Neural Language Processing: A Survey
Yonatan Belinkov,James Glass
4+阅读 · 2019年1月14日
Top
微信扫码咨询专知VIP会员