近年来,深度学习技术得到了快速发展。在自然语言处理(NLP)任务中,随着文本表征技术从词级上升到了文档级,利用大规模语料库进行无监督预训练的方式已被证明能够有效提高模型在下游任务中的性能。首先,根据文本特征提取技术的发展,从词级和文档级对典型的模型进行了分析;其次,从预训练目标任务和下游应用两个阶段,分析了当前预训练模型的研究现状,并对代表性的模型特点进行了梳理和归纳;最后,总结了当前预训练模型发展所面临的主要挑战并提出了对未来的展望。

http://www.joca.cn/CN/abstract/abstract24426.shtml

成为VIP会员查看完整内容
0
38

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

摘要 自然语言处理中的评测任务引导和推动着技术、模型和方法上的研究。近年来,新的评测数据集和评测任务不断被提出,与此同时,现有评测暴露的一系列问题也限制了自然语言处理技术的进步。该文从自然语言处理评测的概念、构成、发展和意义出发,分类综述了主流自然语言处理评测的任务和特点,进而总结归纳了自然语言处理评测中的问题及其成因。最后,该文参照人类语言能力评测规范,提出类人机器语言能力评测的概念,并从信度、难度、效度三个方面提出了一系列类人机器语言能力评测的基本原则和实施设想,并对评测技术的未来发展进行了展望。

http://jcip.cipsc.org.cn/CN/abstract/abstract3142.shtml

成为VIP会员查看完整内容
0
13

新闻推荐(NR)可以有效缓解新闻信息过载,是当今人们获取新闻资讯的重要方式,而深度学习(DL)成为近年来促进新闻推荐发展的主流技术,使新闻推荐的效果得到显著提升,受到研究者们的广泛关注。主要对基于深度学习的新闻推荐方法研究现状进行分类梳理和分析归纳。根据对新闻推荐的核心对象——用户和新闻的建模思路不同,将基于深度学习的新闻推荐方法分为“两段式”方法、“融合式”方法和“协同式”方法三类。在每类方法中,根据建模过程中的具体子任务或基于的数据组织结构进行更进一步细分,对代表性模型进行分析介绍,评价其优点和局限性等,并详细总结每类方法的特点和优缺点。另外还介绍了新闻推荐中常用数据集、基线算法和性能评价指标,最后分析展望了该领域未来可能的研究方向及发展趋势。

http://fcst.ceaj.org/CN/abstract/abstract2715.shtml

成为VIP会员查看完整内容
0
22

自然语言生成(NLG)技术利用人工智能和语言学的方法来自动地生成可理解的自然语言文本。NLG降低了人类和计算机之间沟通的难度,被广泛应用于机器新闻写作、聊天机器人等领域,已经成为人工智能的研究热点之一。首先,列举了当前主流的NLG的方法和模型,并详细对比了这些方法和模型的优缺点;然后,分别针对文本到文本、数据到文本和图像到文本等三种NLG技术,总结并分析了应用领域、存在的问题和当前的研究进展;进而,阐述了上述生成技术的常用评价方法及其适用范围;最后,给出了当前NLG技术的发展趋势和研究难点。

http://www.joca.cn/CN/abstract/abstract24496.shtml

成为VIP会员查看完整内容
0
31

对话系统作为人机交互的重要方式,有着广泛的应用前景。现有的对话系统专注于解决语义一致性和内容丰富性等问题,对于提高人机交互以及产生人机共鸣方向的研究关注度不高。如何让生成的语句在具有语义相关性的基础上更自然地与用户交流是当前对话系统面临的主要问题之一。首先对对话系统进行了整体情况的概括。接着介绍了情感对话系统中的对话情绪感知和情感对话生成两大任务,并分别调研归纳了相关方法。对话情绪感知任务大致分为基于上下文和基于用户信息两类方法。情感对话生成的方法包括规则匹配算法、指定情感回复的生成模型和不指定情感回复的生成模型,并从情绪数据类别和模型方法等方面进行了对比分析。然后总结整理了两大任务下数据集的特点和链接便于后续的研究,并归纳了当前情感对话系统中不同的评估方法。最后对情感对话系统的工作进行了总结和展望。

http://fcst.ceaj.org/CN/abstract/abstract2684.shtml

成为VIP会员查看完整内容
0
38

深度学习模型被证明存在脆弱性并容易遭到对抗样本的攻击,但目前对于对抗样本的研究主要集中在计算机视觉领 域而忽略了自然语言处理模型的安全问题.针对自然语言处理领域同样面临对抗样本的风险,在阐明对抗样本相关概念的基 础上,文中首先对基于深度学习的自然语言处理模型的复杂结构、难以探知的训练过程和朴素的基本原理等脆弱性成因进行分析,进一步阐述了文本对抗样本的特点、分类和评价指标,并对该领域对抗技术涉及到的典型任务和数据集进行了阐述;然后按 照扰动级别对主流的字、词、句和多级扰动组合的文本对抗样本生成技术进行了梳理,并对相关防御方法进行了归纳总结;最后 对目前自然语言处理对抗样本领域攻防双方存在的痛点问题进行了进一步的讨论和展望.

http://www.jsjkx.com/CN/article/openArticlePDF.jsp?id=19697

成为VIP会员查看完整内容
0
36

http://cea.ceaj.org/CN/abstract/abstract39198.shtml

近年来,深度学习技术被广泛应用于各个领域,基于深度学习的预处理模型将自然语言处理带入一个新时代。预训练模型的目标是如何使预训练好的模型处于良好的初始状态,在下游任务中达到更好的性能表现。对预训练技术及其发展历史进行介绍,并按照模型特点划分为基于概率统计的传统模型和基于深度学习的新式模型进行综述;简要分析传统预训练模型的特点及局限性,重点介绍基于深度学习的预训练模型,并针对它们在下游任务的表现进行对比评估;梳理出具有启发意义的新式预训练模型,简述这些模型的改进机制以及在下游任务中取得的性能提升;总结目前预训练的模型所面临的问题,并对后续发展趋势进行展望。

成为VIP会员查看完整内容
0
73

在大规模无标签文本上预训练语言模型,然后在下游任务微调的学习模式已经在自然语言处理(NLP)领域取得了广泛的应用。尽管当前的预训练语言模型在大部分NLP任务上取得了显著的进展,然而,研究人员发现当预训练任务的目标更接近于下游任务的目标时,模型在下游任务上能取得更大幅度的性能提升,例如针对文本摘要设计的Gap Sentence Prediciton预训练任务[1]、面向机器阅读理解设计的Span Selection预训练任务[2]、以及为情感分析设计的Label-aware MLM预训练任务[3],都取得了相较于原始预训练语言模型更好的性能。近年来,在信息检索(IR)中,预训练语言模型在文档排序任务上取得了一定的效果,然而,如何设计更符合信息检索需求的预训练目标,是一个值得探索的新领域。

在这项工作中,我们提出了一个新颖的针对信息检索的预训练任务,叫做“代表词预测”任务(Representative Words Prediction)。这个任务是受到了IR中经典统计语言模型——查询似然模型的启发,在查询似然模型的基本假设中,查询被认为是由“理想”文档“生成”出来的具有代表性的文本,因此通过贝叶斯定理推导,查询的相关性强度可由其代表性或者说是其似然值表征。鉴于此,我们就构建了这样一个新的代表词预测任务(简称为ROP任务),具体来说,对于一个给定的文档,我们根据文档语言模型(狄利克雷平滑的多项式语言模型)采样出该文档的代表性词集,然后预训练语言模型使其能够有效地区分出其中哪些词项更具有代表性。为了同时建模查询和文档内容理解以及二者关系的预测,我们结合ROP与MLM一起在无标签的文档语料上进行预训练,我们把通过这种预训练方式得到的语言模型命名为PROP。

https://www.zhuanzhi.ai/paper/57435651043bb840be881c8e7a71c70d

成为VIP会员查看完整内容
0
23

近年来,随着web2.0的普及,使用图挖掘技术进行异常检测受到人们越来越多的关注.图异常检测在欺诈检测、入侵检测、虚假投票、僵尸粉丝分析等领域发挥着重要作用.本文在广泛调研国内外大量文献以及最新科研成果的基础上,按照数据表示形式将面向图的异常检测划分成静态图上的异常检测与动态图上的异常检测两大类,进一步按照异常类型将静态图上的异常分为孤立个体异常和群组异常检测两种类别,动态图上的异常分为孤立个体异常、群体异常以及事件异常三种类型.对每一类异常检测方法当前的研究进展加以介绍,对每种异常检测算法的基本思想、优缺点进行分析、对比,总结面向图的异常检测的关键技术、常用框架、应用领域、常用数据集以及性能评估方法,并对未来可能的发展趋势进行展望.

http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6100&flag=1

成为VIP会员查看完整内容
0
66

句法分析的目标是分析输入句子并得到其句法结构,是自然语言处理领域的经典任务之一。目前针对该任务的研究主要集中于如何通过从数据中自动学习来提升句法分析器的精度。该文对句法分析方向的前沿动态进行了调研,分别从有监督句法分析、无监督句法分析和跨领域跨语言句法分析三个子方向梳理和介绍了2018—2019年发表的新方法和新发现,并对句法分析子方向的研究前景进行了分析和展望。

http://jcip.cipsc.org.cn/CN/abstract/abstract2996.shtml

成为VIP会员查看完整内容
0
21

摘要: 近年来,随着深度学习的快速发展,面向自然语言处理领域的预训练技术获得了长足的进步。早期的自然语言处理领域长期使用Word2Vec等词向量方法对文本进行编码,这些词向量方法也可看作静态的预训练技术。然而,这种上下文无关的文本表示给其后的自然语言处理任务带来的提升非常有限,并且无法解决一词多义问题。ELMo提出了一种上下文相关的文本表示方法,可有效处理多义词问题。其后,GPT和BERT等预训练语言模型相继被提出,其中BERT模型在多个典型下游任务上有了显著的效果提升,极大地推动了自然语言处理领域的技术发展,自此便进入了动态预训练技术的时代。此后,基于BERT的改进模型、XLNet等大量预训练语言模型不断涌现,预训练技术已成为自然语言处理领域不可或缺的主流技术。文中首先概述预训练技术及其发展历史,并详细介绍自然语言处理领域的经典预训练技术,包括早期的静态预训练技术和经典的动态预训练技术;然后简要梳理一系列新式的有启发意义的预训练技术,包括基于BERT的改进模型和XLNet;在此基础上,分析目前预训练技术研究所面临的问题;最后对预训练技术的未来发展趋势进行展望。

成为VIP会员查看完整内容
0
73
小贴士
相关VIP内容
专知会员服务
13+阅读 · 7月18日
专知会员服务
22+阅读 · 6月26日
专知会员服务
31+阅读 · 5月29日
专知会员服务
38+阅读 · 5月21日
专知会员服务
36+阅读 · 5月6日
专知会员服务
73+阅读 · 2020年12月9日
专知会员服务
23+阅读 · 2020年11月29日
专知会员服务
66+阅读 · 2020年10月27日
专知会员服务
21+阅读 · 2020年9月11日
专知会员服务
73+阅读 · 2020年4月23日
相关资讯
多模态视觉语言表征学习研究综述
专知
11+阅读 · 2020年12月3日
最新《多任务学习》综述,39页pdf
专知
8+阅读 · 2020年7月10日
【论文笔记】NLP 预训练模型综述
深度学习自然语言处理
8+阅读 · 2020年5月14日
【中科院】命名实体识别技术综述
专知
13+阅读 · 2020年4月21日
机器推理系列文章概览:七大NLP任务最新方法与进展
微软研究院AI头条
9+阅读 · 2019年9月11日
NLP领域中的迁移学习现状
AI科技评论
5+阅读 · 2019年9月1日
自然语言处理中的语言模型预训练方法
PaperWeekly
13+阅读 · 2018年10月21日
相关论文
Xue Jiang,Zhuoran Zheng,Chen Lyu,Liang Li,Lei Lyu
0+阅读 · 7月15日
Anqi Joyce Yang,Can Cui,Ioan Andrei Bârsan,Raquel Urtasun,Shenlong Wang
0+阅读 · 7月15日
Xipeng Qiu,Tianxiang Sun,Yige Xu,Yunfan Shao,Ning Dai,Xuanjing Huang
91+阅读 · 2020年3月18日
Qi Liu,Matt J. Kusner,Phil Blunsom
24+阅读 · 2020年3月16日
Ningyu Zhang,Zhanlin Sun,Shumin Deng,Jiaoyan Chen,Huajun Chen
3+阅读 · 2019年8月22日
Analysis Methods in Neural Language Processing: A Survey
Yonatan Belinkov,James Glass
4+阅读 · 2019年1月14日
Jeremy Howard,Sebastian Ruder
3+阅读 · 2018年5月17日
Kang Min Yoo,Youhyun Shin,Sang-goo Lee
8+阅读 · 2017年12月2日
Top