摘要 预训练技术当前在自然语言处理领域占有举足轻重的位置。尤其近两年提出的ELMo、GTP、BERT、XLNet、T5、GTP-3等预训练模型的成功,进一步将预训练技术推向了研究高潮。该文从语言模型、特征抽取器、上下文表征、词表征四个方面对现存的主要预训练技术进行了分析和分类,并分析了当前自然语言处理中的预训练技术面临的主要问题和发展趋势。

http://jcip.cipsc.org.cn/CN/abstract/abstract3187.shtml

成为VIP会员查看完整内容
0
16

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

摘要:随着自然语言处理(NLP)领域中预训练技术的快速发展,将外部知识引入到预训练语言模型的知识驱动方法在NLP任务中表现优异,知识表示学习和预训练技术为知识融合的预训练方法提供了理论依据。概述目前经典预训练方法的相关研究成果,分析在新兴预训练技术支持下具有代表性的知识感知的预训练语言模型,分别介绍引入不同外部知识的预训练语言模型,并结合相关实验数据评估知识感知的预训练语言模型在NLP各个下游任务中的性能表现。在此基础上,分析当前预训练语言模型发展过程中所面临的问题和挑战,并对领域发展前景进行展望。

http://www.ecice06.com/CN/10.19678/j.issn.1000-3428.0060823

成为VIP会员查看完整内容
0
21

在目前已发表的自然语言处理预训练技术综述中,大多数文章仅介绍神经网络预训练技术或者极简单介绍传统预训练技术,存在人为割裂自然语言预训练发展历程。为此,以自然语言预训练发展历程为主线,从以下四方面展开工作:首先,依据预训练技术更新路线,介绍了传统自然语言预训练技术与神经网络预训练技术,并对相关技术特点进行分析、比较,从中归纳出自然语言处理技术的发展脉络与趋势;其次,主要从两方面介绍了基于BERT改进的自然语言处理模型,并对这些模型从预训练机制、优缺点、性能等方面进行总结;再者,对自然语言处理的主要应用领域发展进行了介绍,并阐述了自然语言处理目前面临的挑战与相应解决办法;最后,总结工作,预测了自然语言处理的未来发展方向。旨在帮助科研工作者更全面地了解自然语言预训练技术发展历程,继而为新模型、新预训练方法的提出提供一定思路。

http://fcst.ceaj.org/CN/abstract/abstract2823.shtml

成为VIP会员查看完整内容
0
21

自然语言生成(NLG)技术利用人工智能和语言学的方法来自动地生成可理解的自然语言文本。NLG降低了人类和计算机之间沟通的难度,被广泛应用于机器新闻写作、聊天机器人等领域,已经成为人工智能的研究热点之一。首先,列举了当前主流的NLG的方法和模型,并详细对比了这些方法和模型的优缺点;然后,分别针对文本到文本、数据到文本和图像到文本等三种NLG技术,总结并分析了应用领域、存在的问题和当前的研究进展;进而,阐述了上述生成技术的常用评价方法及其适用范围;最后,给出了当前NLG技术的发展趋势和研究难点。

http://www.joca.cn/CN/abstract/abstract24496.shtml

成为VIP会员查看完整内容
0
26

近年来,深度学习技术得到了快速发展。在自然语言处理(NLP)任务中,随着文本表征技术从词级上升到了文档级,利用大规模语料库进行无监督预训练的方式已被证明能够有效提高模型在下游任务中的性能。首先,根据文本特征提取技术的发展,从词级和文档级对典型的模型进行了分析;其次,从预训练目标任务和下游应用两个阶段,分析了当前预训练模型的研究现状,并对代表性的模型特点进行了梳理和归纳;最后,总结了当前预训练模型发展所面临的主要挑战并提出了对未来的展望。

http://www.joca.cn/CN/abstract/abstract24426.shtml

成为VIP会员查看完整内容
0
37

摘要 在线社交网络中的消息流行度预测研究,对推荐、广告、检索等应用场景都具有非常重要的作用。近年来,深度学习的蓬勃发展和消息传播数据的积累,为基于深度学习的流行度预测研究提供了坚实的发展基础。现有的流行度预测研究综述,主要是围绕传统的流行度预测方法展开的,而基于深度学习的流行度预测方法目前仍未得到系统性地归纳和梳理,不利于流行度预测领域的持续发展。鉴于此,该文重点论述和分析现有的基于深度学习的流行度预测相关研究,对近年来基于深度学习的流行度预测研究进行了归纳梳理,将其分为基于深度表示和基于深度融合的流行度预测方法,并对该研究方向的发展现状和未来趋势进行了分析展望。

http://jcip.cipsc.org.cn/CN/abstract/abstract3082.shtml

成为VIP会员查看完整内容
0
32

摘要 近年来,跨模态研究吸引了越来越多学者的关注,尤其是连接视觉和语言的相关课题。该文针对跨视觉和语言模态研究中的核心任务——图像描述生成,进行文献综述。该文从基于视觉的文本生成框架、基于视觉的文本生成研究中的关键问题、图像描述生成模型的性能评价和图像描述生成模型的主要发展过程四个方面对相关文献进行介绍和总结。最后,该文给出了几个未来的重点研究方向,包括跨视觉和语言模态的特征对齐、自动化评价指标的设计以及多样化图像描述生成。

http://jcip.cipsc.org.cn/CN/abstract/abstract2995.shtml

成为VIP会员查看完整内容
0
40

http://cea.ceaj.org/CN/abstract/abstract39198.shtml

近年来,深度学习技术被广泛应用于各个领域,基于深度学习的预处理模型将自然语言处理带入一个新时代。预训练模型的目标是如何使预训练好的模型处于良好的初始状态,在下游任务中达到更好的性能表现。对预训练技术及其发展历史进行介绍,并按照模型特点划分为基于概率统计的传统模型和基于深度学习的新式模型进行综述;简要分析传统预训练模型的特点及局限性,重点介绍基于深度学习的预训练模型,并针对它们在下游任务的表现进行对比评估;梳理出具有启发意义的新式预训练模型,简述这些模型的改进机制以及在下游任务中取得的性能提升;总结目前预训练的模型所面临的问题,并对后续发展趋势进行展望。

成为VIP会员查看完整内容
0
71

我们生活在一个由大量不同模态内容构建而成的多媒体世界中,不同模态信息之间具有高度的相关性和互补性,多模态表征学习的主要目的就是挖掘出不同模态之间的共性和特性,产生出可以表示多模态信息的隐含向量.该文章主要介绍了目前应用较广的视觉语言表征的相应研究工作,包括传统的基于相似性模型的研究方法和目前主流的基于语言模型的预训练的方法.目前比较好的思路和解决方案是将视觉特征语义化然后与文本特征通过一个强大的特征抽取器产生出表征,其中Transformer[1]作为主要的特征抽取器被应用表征学习的各类任务中.文章分别从研究背景、不同研究方法的划分、测评方法、未来发展趋势等几个不同角度进行阐述.

http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6125&flag=1

成为VIP会员查看完整内容
0
85

摘要: 近年来,随着深度学习的快速发展,面向自然语言处理领域的预训练技术获得了长足的进步。早期的自然语言处理领域长期使用Word2Vec等词向量方法对文本进行编码,这些词向量方法也可看作静态的预训练技术。然而,这种上下文无关的文本表示给其后的自然语言处理任务带来的提升非常有限,并且无法解决一词多义问题。ELMo提出了一种上下文相关的文本表示方法,可有效处理多义词问题。其后,GPT和BERT等预训练语言模型相继被提出,其中BERT模型在多个典型下游任务上有了显著的效果提升,极大地推动了自然语言处理领域的技术发展,自此便进入了动态预训练技术的时代。此后,基于BERT的改进模型、XLNet等大量预训练语言模型不断涌现,预训练技术已成为自然语言处理领域不可或缺的主流技术。文中首先概述预训练技术及其发展历史,并详细介绍自然语言处理领域的经典预训练技术,包括早期的静态预训练技术和经典的动态预训练技术;然后简要梳理一系列新式的有启发意义的预训练技术,包括基于BERT的改进模型和XLNet;在此基础上,分析目前预训练技术研究所面临的问题;最后对预训练技术的未来发展趋势进行展望。

成为VIP会员查看完整内容
0
70

摘要 : 零样本图像分类指训练集和测试集在数据的类别上没有交集的情况下进行图像分类 . 该技术 是解决类别标签缺失问题的一种有效手段 , 因此受到了日益广泛的关注 . 自提出此问题至今 , 零样本 图像分类的研究已经大致有十年时间 . 本文系统地对过去十年中零样本图像分类技术的研究进展进行 了综述 , 主要包括以下 4 个方面 . 首先介绍零样本图像分类技术的研究意义及其应用价值 , 然后重点 总结和归纳零样本图像分类的发展过程和研究现状 , 接下来介绍常用的数据集和评价准则 , 以及与零 样本学习相关的技术的区别和联系 , 最后分析有待深入研究的热点与难点问题 , 并对未来的发展趋势 进行了展望 .

关键词: 零样本图像分类 , 属性 , 词向量 , 跨模态映射 , 领域适应学习

成为VIP会员查看完整内容
0
87
小贴士
相关VIP内容
专知会员服务
21+阅读 · 9月25日
专知会员服务
21+阅读 · 8月20日
专知会员服务
26+阅读 · 5月29日
专知会员服务
37+阅读 · 5月28日
专知会员服务
32+阅读 · 3月24日
专知会员服务
40+阅读 · 2020年12月24日
专知会员服务
71+阅读 · 2020年12月9日
专知会员服务
85+阅读 · 2020年12月3日
专知会员服务
70+阅读 · 2020年4月23日
零样本图像分类综述 : 十年进展
专知会员服务
87+阅读 · 2019年11月16日
相关资讯
多模态视觉语言表征学习研究综述
专知
11+阅读 · 2020年12月3日
实体关系抽取方法研究综述
专知
5+阅读 · 2020年7月19日
语言模型及Word2vec与Bert简析
AINLP
4+阅读 · 2020年5月7日
「中文文献」目标跟踪算法综述
专知
3+阅读 · 2019年7月25日
从经典结构到改进方法,神经网络语言模型综述
机器之心
3+阅读 · 2019年7月23日
基于深度学习的NLP 32页最新进展综述,190篇参考文献
人工智能学家
22+阅读 · 2018年12月4日
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
人工智能前沿讲习班
4+阅读 · 2018年11月15日
自然语言处理中的语言模型预训练方法
PaperWeekly
13+阅读 · 2018年10月21日
相关论文
Ludan Ruan,Qin Jin
12+阅读 · 9月21日
Matteo Stefanini,Marcella Cornia,Lorenzo Baraldi,Silvia Cascianelli,Giuseppe Fiameni,Rita Cucchiara
12+阅读 · 7月14日
Tianyang Lin,Yuxin Wang,Xiangyang Liu,Xipeng Qiu
44+阅读 · 6月8日
Chongming Gao,Wenqiang Lei,Xiangnan He,Maarten de Rijke,Tat-Seng Chua
13+阅读 · 1月23日
Jimmy Lin,Rodrigo Nogueira,Andrew Yates
19+阅读 · 2020年10月13日
Yi Tay,Mostafa Dehghani,Dara Bahri,Donald Metzler
14+阅读 · 2020年9月16日
Revealing the Dark Secrets of BERT
Olga Kovaleva,Alexey Romanov,Anna Rogers,Anna Rumshisky
4+阅读 · 2019年9月11日
Chenguang Zhu,Michael Zeng,Xuedong Huang
7+阅读 · 2019年1月2日
Jianfeng Gao,Michel Galley,Lihong Li
26+阅读 · 2018年9月21日
Bo Du,Shihan Cai,Chen Wu,Liangpei Zhang,Dacheng Tao
5+阅读 · 2018年4月25日
Top