文本分类作为自然语言处理中一个基本任务,在20世纪50年代就已经对其算法进行了研究,现在单标签文本分类算法已经趋向成熟,但是对于多标签文本分类的研究还有很大的提升空间。介绍了多标签文本分类的基本概念以及基本流程,包括数据集获取、文本预处理、模型训练和预测结果。介绍了多标签文本分类的方法。这些方法主要分为两大类:传统机器学习方法和基于深度学习的方法。传统机器学习方法主要包括问题转换方法和算法自适应方法。基于深度学习的方法是利用各种神经网络模型来处理多标签文本分类问题,根据模型结构,将其分为基于CNN结构、基于RNN结构和基于Transfomer结构的多标签文本分类方法。对多标签文本分类常用的数据集进行了梳理总结。对未来的发展趋势进行了分析与展望。

http://cea.ceaj.org/CN/abstract/abstract39605.shtml

成为VIP会员查看完整内容
0
23

相关内容

文本分类(Text Classification)任务是根据给定文档的内容或主题,自动分配预先定义的类别标签。

新闻推荐(NR)可以有效缓解新闻信息过载,是当今人们获取新闻资讯的重要方式,而深度学习(DL)成为近年来促进新闻推荐发展的主流技术,使新闻推荐的效果得到显著提升,受到研究者们的广泛关注。主要对基于深度学习的新闻推荐方法研究现状进行分类梳理和分析归纳。根据对新闻推荐的核心对象——用户和新闻的建模思路不同,将基于深度学习的新闻推荐方法分为“两段式”方法、“融合式”方法和“协同式”方法三类。在每类方法中,根据建模过程中的具体子任务或基于的数据组织结构进行更进一步细分,对代表性模型进行分析介绍,评价其优点和局限性等,并详细总结每类方法的特点和优缺点。另外还介绍了新闻推荐中常用数据集、基线算法和性能评价指标,最后分析展望了该领域未来可能的研究方向及发展趋势。

http://fcst.ceaj.org/CN/abstract/abstract2715.shtml

成为VIP会员查看完整内容
0
11

精准地预判网络流量变化趋势可以帮助运营商准确预估网络的使用情况,合理分配并高效利用网络资源,以满足日益增长且多样化的用户需求。以深度学习算法在网络流量预测领域的进展为线索,阐述了网络流量预测的评价指标和目前公开的网络流量数据集及应用,具体分析了网络流量预测中常用的深度信念网络、卷积神经网络、循环神经网络和长短时记忆网络共四种深度学习方法,并重点介绍了近年来针对不同问题所提出的改进神经网络模型,总结了各模型特点及应用场景。最后对网络流量预测未来发展进行了展望。

http://cea.ceaj.org/CN/abstract/abstract39601.shtml

成为VIP会员查看完整内容
0
14

近年来,深度学习技术得到了快速发展。在自然语言处理(NLP)任务中,随着文本表征技术从词级上升到了文档级,利用大规模语料库进行无监督预训练的方式已被证明能够有效提高模型在下游任务中的性能。首先,根据文本特征提取技术的发展,从词级和文档级对典型的模型进行了分析;其次,从预训练目标任务和下游应用两个阶段,分析了当前预训练模型的研究现状,并对代表性的模型特点进行了梳理和归纳;最后,总结了当前预训练模型发展所面临的主要挑战并提出了对未来的展望。

http://www.joca.cn/CN/abstract/abstract24426.shtml

成为VIP会员查看完整内容
0
22

对话系统作为人机交互的重要方式,有着广泛的应用前景。现有的对话系统专注于解决语义一致性和内容丰富性等问题,对于提高人机交互以及产生人机共鸣方向的研究关注度不高。如何让生成的语句在具有语义相关性的基础上更自然地与用户交流是当前对话系统面临的主要问题之一。首先对对话系统进行了整体情况的概括。接着介绍了情感对话系统中的对话情绪感知和情感对话生成两大任务,并分别调研归纳了相关方法。对话情绪感知任务大致分为基于上下文和基于用户信息两类方法。情感对话生成的方法包括规则匹配算法、指定情感回复的生成模型和不指定情感回复的生成模型,并从情绪数据类别和模型方法等方面进行了对比分析。然后总结整理了两大任务下数据集的特点和链接便于后续的研究,并归纳了当前情感对话系统中不同的评估方法。最后对情感对话系统的工作进行了总结和展望。

http://fcst.ceaj.org/CN/abstract/abstract2684.shtml

成为VIP会员查看完整内容
0
20

摘要: 当前,以网络数据为代表的跨媒体数据呈现爆炸式增长的趋势,呈现出了跨模态、跨数据源的复杂关联及动态演化特性,跨媒体分析与推理技术针对多模态信息理解、交互、内容管理等需求,通过构建跨模态、跨平台的语义贯通与统一表征机制,进一步实现分析和推理以及对复杂认知目标的不断逼近,建立语义层级的逻辑推理机制,最终实现跨媒体类人智能推理。文中对跨媒体分析推理技术的研究背景和发展历史进行概述,归纳总结视觉-语言关联等任务的关键技术,并对研究应用进行举例。基于已有结论,分析目前跨媒体分析领域所面临的关键问题,最后探讨未来的发展趋势。

http://www.jsjkx.com/CN/10.11896/jsjkx.210200086

成为VIP会员查看完整内容
0
25

摘要:随着深度学习技术的快速发展,许多研究者尝试利用深度学习来解决文本分类问题,特别是在卷积神经网络和循环神经网络方面,出现了许多新颖且有效的分类方法。对基于深度神经网络的文本分类问题进行分析,介绍卷积神经网络、循环神经网络、注意力机制等方法在文本分类中的应用和发展,分析多种典型分类方法的特点和性能,从准确率和运行时间方面对基础网络结构进行比较,表明深度神经网络较传统机器学习方法在用于文本分类时更具优势,其中卷积神经网络具有优秀的分类性能和泛化能力。在此基础上,指出当前深度文本分类模型存在的不足,并对未来的研究方向进行展望。

http://www.ecice06.com/article/2021/1000-3428/2121.htm

文本分类技术经历了从专家系统到机器学习再到深度学习的发展过程。在20世纪80年代以前,基于规则系统的文本分类方法需要领域专家定义一系列分类规则,通过规则匹配判断文本类别。基于规则的分类方法容易理解,但该方法依赖专家知识,系统构建成本高且可移植性差。20世纪90年代,机器学习技术逐渐走向成熟,出现了许多经典的文本分类算法,如决策树[1]、朴素贝叶斯[2]、支持向量机[3]、最大熵[4]、最近邻[5]等,这些方法部分克服了上述缺点,一定程度上实现了分类器的自动生成,被广泛应用于各个领域。然而,机器学习方法在构建分类器之前通常需要繁杂的人工特征工程,这限制了其进一步发展。

2012年之后,深度学习算法引起了研究者的广泛关注。深度学习为机器学习建模提供了一种直接端到端的解决方案,可避免复杂的特征工程。GolVe[6]和word2vec[7]等词向量模型的提出,使深度学习算法成功地应用到文本处理领域,随后出现了各种基于深度神经网络(Deep Neural Network,DNN)的文本分类方法。这些方法主要采用卷积神经网络(Convolutional Neural Network,CNN)、循环神经网络(Recurrent Neural Network,RNN)和注意力机制等深度学习技术,并且取得了比传统方法更为出色的性能。近年来,图卷积网络(Graph Convolutional Network,GCN)、区域嵌入和元学习等一些新的深度学习方法也被应用于文本分类领域。

本文对基于深度神经网络的文本分类技术进行介绍和分析,阐述卷积神经网络、循环神经网络和注意力机制等方法在文本分类中的应用和发展情况,总结各类方法的特点及区别,并对不同方法的性能表现和适用场景进行比较,讨论在应用深度学习方法处理文本分类任务时应当注意的问题。在此基础上,指出针对该技术未来的研究方向。

成为VIP会员查看完整内容
0
37

http://cea.ceaj.org/CN/abstract/abstract39198.shtml

近年来,深度学习技术被广泛应用于各个领域,基于深度学习的预处理模型将自然语言处理带入一个新时代。预训练模型的目标是如何使预训练好的模型处于良好的初始状态,在下游任务中达到更好的性能表现。对预训练技术及其发展历史进行介绍,并按照模型特点划分为基于概率统计的传统模型和基于深度学习的新式模型进行综述;简要分析传统预训练模型的特点及局限性,重点介绍基于深度学习的预训练模型,并针对它们在下游任务的表现进行对比评估;梳理出具有启发意义的新式预训练模型,简述这些模型的改进机制以及在下游任务中取得的性能提升;总结目前预训练的模型所面临的问题,并对后续发展趋势进行展望。

成为VIP会员查看完整内容
0
60

摘要: 随着深度学习技术的快速发展,许多研究者尝试利用深度学习来解决文本分类问题,特别在卷积神 经网络和循环神经网络方面,出现了许多新颖且富有成效的分类方法。本文对基于深度神经网络的文本分类问题进行分析。分类介绍基于深度学习的文本分类方法,研究卷积神经网络、循环神经网络、注意力机 制等方法在文本分类中的应用和发展,分析不同深度学习文本分类方法的特点和性能,从准确率和运行时 间方面对基础网络结构进行比较。已有研究和本文实验结果表明,深度神经网络方法的分类性能超过了传 统的机器学习方法,卷积神经网络具有良好的分类性能。分析当前深度文本分类模型的不足,并对未来的 研究方向进行展望。

http://www.ecice06.com/CN/10.19678/j.issn.1000-3428.0059099

文本分类技术经历了从专家系统到机器学习再到深度学习的发展过程。上世纪 80 年代 以前,基于规则系统的文本分类方法需要领域专家定义一系列分类规则,通过规则匹配判断 文本类别。基于规则的分类方法容易理解,但该方法依赖专家知识,构建成本高,系统可移 植性差。到上世纪 90 年代,机器学习技术逐渐走向成熟,出现了许多经典的文本分类算法, 如决策树[1]、朴素贝叶斯[2]、支持向量机[3]、最大熵[4]、最近邻方法[5]等,这些方法部分克服 了前述缺点,一定程度上实现了分类器的自动生成,被广泛应用的各个领域,但其缺点是在 构建分类器之前,通常需要繁杂的人工特征工程。2012 年开始,深度学习算法引起了越来 越多人的关注,深度学习为机器学习建模提供了一种直接端到端的解决方案,避免了复杂的 特征工程。Golve[6]和 word2vec[7]等词向量模型的提出,为深度学习算法应用到文本处理领域 上铺平了道路,随后出现了各种基于深度神经网络的文本分类方法,这些方法主要采用了卷 积神经网络(convolutional neural networks,CNN)、循环神经网络(recurrent neural networks, RNN)、注意力机制(attention mechanism)等深度学习技术,并且取得了比传统方法更为 出色的性能。近年来,图卷积网络(graph convolutional network,GCN)、区域嵌入(region embedding)、元学习(meta-learning)等一些新的深度学习方法也被应用到文本分类领域。本文对基于深度神经网络的文本分类技术进行了介绍和分析,将详细介绍卷积神经网 络、循环神经网络、组合模型、注意力机制等方法在文本分类中的应用和发展,分析各类方 法的特点以及之间的区别,对不同方法的性能表现和适用场景进行分析比较,讨论在应用深度学习方法处理文本分类任务时应当注意的问题,最后指出未来的研究方向。

成为VIP会员查看完整内容
0
43

摘要: 在自然语言处理领域,信息抽取一直以来受到人们的关注.信息抽取主要包括3项子任务:实体抽取、关系抽取和事件抽取,而关系抽取是信息抽取领域的核心任务和重要环节.实体关系抽取的主要目标是从自然语言文本中识别并判定实体对之间存在的特定关系,这为智能检索、语义分析等提供了基础支持,有助于提高搜索效率,促进知识库的自动构建.综合阐述了实体关系抽取的发展历史,介绍了常用的中文和英文关系抽取工具和评价体系.主要从4个方面展开介绍了实体关系抽取方法,包括:早期的传统关系抽取方法、基于传统机器学习、基于深度学习和基于开放领域的关系抽取方法,总结了在不同历史阶段的主流研究方法以及相应的代表性成果,并对各种实体关系抽取技术进行对比分析.最后,对实体关系抽取的未来重点研究内容和发展趋势进行了总结和展望.

http://crad.ict.ac.cn/CN/10.7544/issn1000-1239.2020.20190358#1

成为VIP会员查看完整内容
0
93

摘要:随着日益剧增的海量数据信息的产生以及数据挖掘算法的广泛应用,人们已经进入了大数据时代.在数据规模飞速增长的前提下,如何高效稳定的存取数据信息以及加快数据挖掘算法的执行已经成为学术界和工业界急需解决的关键问题.机器学习算法作为数据挖掘应用的核心组成部分,吸引了越来越多研究者的关注,而利用新型的软硬件手段来加速机器学习算法已经成为了目前的研究热点之一.本文主要针对基于ASIC和FPGA等硬件平台设计的机器学习加速器进行了归纳与总结.首先,本文先介绍了机器学习算法,对代表性的算法进行了分析和归纳.接下来对加速器可能的着眼点进行了列举综述,以各种机器学习硬件加速器为主要实例介绍了目前主流的加速器设计和实现,并围绕加速器结构进行简单分类和总结.最后本文对机器学习算法硬件加速这个领域进行了分析,并对目前的发展趋势做出了展望.

成为VIP会员查看完整内容
0
35
小贴士
相关VIP内容
专知会员服务
11+阅读 · 6月26日
专知会员服务
14+阅读 · 5月30日
专知会员服务
22+阅读 · 5月28日
专知会员服务
20+阅读 · 5月21日
专知会员服务
25+阅读 · 3月11日
专知会员服务
60+阅读 · 2020年12月9日
专知会员服务
43+阅读 · 2020年12月6日
专知会员服务
93+阅读 · 2020年7月19日
专知会员服务
35+阅读 · 2020年6月20日
相关资讯
多模态视觉语言表征学习研究综述
专知
10+阅读 · 2020年12月3日
深度学习模型可解释性的研究进展
专知
14+阅读 · 2020年8月1日
实体关系抽取方法研究综述
专知
4+阅读 · 2020年7月19日
深度学习可解释性研究进展
专知
9+阅读 · 2020年6月26日
基于深度学习的多标签生成研究进展
专知
3+阅读 · 2020年4月25日
【中科院】命名实体识别技术综述
专知
10+阅读 · 2020年4月21日
注意力图神经网络的多标签文本分类
专知
3+阅读 · 2020年3月28日
对话系统近期进展
专知
35+阅读 · 2019年3月23日
贝叶斯机器学习前沿进展
机器学习研究会
16+阅读 · 2018年1月21日
相关论文
Samuel Budd,Matthew Sinclair,Thomas Day,Athanasios Vlontzos,Jeremy Tan,Tianrui Liu,Jaqueline Matthew,Emily Skelton,John Simpson,Reza Razavi,Ben Glocker,Daniel Rueckert,Emma C. Robinson,Bernhard Kainz
0+阅读 · 7月6日
Lanqing Xue,Xiaopeng Li,Nevin L. Zhang
3+阅读 · 2019年12月1日
Attention Forcing for Sequence-to-sequence Model Training
Qingyun Dou,Yiting Lu,Joshua Efiong,Mark J. F. Gales
6+阅读 · 2019年9月26日
Sean MacAvaney,Andrew Yates,Arman Cohan,Nazli Goharian
3+阅读 · 2019年8月19日
Graph2Seq: Graph to Sequence Learning with Attention-based Neural Networks
Kun Xu,Lingfei Wu,Zhiguo Wang,Yansong Feng,Michael Witbrock,Vadim Sheinin
6+阅读 · 2018年12月3日
Marek Rei,Anders Søgaard
3+阅读 · 2018年11月14日
Evolutionary Data Measures: Understanding the Difficulty of Text Classification Tasks
Edward Collins,Nikolai Rozanov,Bingbing Zhang
4+阅读 · 2018年11月5日
Doubly Attentive Transformer Machine Translation
Hasan Sait Arslan,Mark Fishel,Gholamreza Anbarjafari
4+阅读 · 2018年7月30日
Longyue Wang,Zhaopeng Tu,Shuming Shi,Tong Zhang,Yvette Graham,Qun Liu
3+阅读 · 2018年1月10日
Ashish Vaswani,Noam Shazeer,Niki Parmar,Jakob Uszkoreit,Llion Jones,Aidan N. Gomez,Lukasz Kaiser,Illia Polosukhin
13+阅读 · 2017年12月6日
Top