摘要: 随着深度学习技术的快速发展,许多研究者尝试利用深度学习来解决文本分类问题,特别在卷积神 经网络和循环神经网络方面,出现了许多新颖且富有成效的分类方法。本文对基于深度神经网络的文本分类问题进行分析。分类介绍基于深度学习的文本分类方法,研究卷积神经网络、循环神经网络、注意力机 制等方法在文本分类中的应用和发展,分析不同深度学习文本分类方法的特点和性能,从准确率和运行时 间方面对基础网络结构进行比较。已有研究和本文实验结果表明,深度神经网络方法的分类性能超过了传 统的机器学习方法,卷积神经网络具有良好的分类性能。分析当前深度文本分类模型的不足,并对未来的 研究方向进行展望。

http://www.ecice06.com/CN/10.19678/j.issn.1000-3428.0059099

文本分类技术经历了从专家系统到机器学习再到深度学习的发展过程。上世纪 80 年代 以前,基于规则系统的文本分类方法需要领域专家定义一系列分类规则,通过规则匹配判断 文本类别。基于规则的分类方法容易理解,但该方法依赖专家知识,构建成本高,系统可移 植性差。到上世纪 90 年代,机器学习技术逐渐走向成熟,出现了许多经典的文本分类算法, 如决策树[1]、朴素贝叶斯[2]、支持向量机[3]、最大熵[4]、最近邻方法[5]等,这些方法部分克服 了前述缺点,一定程度上实现了分类器的自动生成,被广泛应用的各个领域,但其缺点是在 构建分类器之前,通常需要繁杂的人工特征工程。2012 年开始,深度学习算法引起了越来 越多人的关注,深度学习为机器学习建模提供了一种直接端到端的解决方案,避免了复杂的 特征工程。Golve[6]和 word2vec[7]等词向量模型的提出,为深度学习算法应用到文本处理领域 上铺平了道路,随后出现了各种基于深度神经网络的文本分类方法,这些方法主要采用了卷 积神经网络(convolutional neural networks,CNN)、循环神经网络(recurrent neural networks, RNN)、注意力机制(attention mechanism)等深度学习技术,并且取得了比传统方法更为 出色的性能。近年来,图卷积网络(graph convolutional network,GCN)、区域嵌入(region embedding)、元学习(meta-learning)等一些新的深度学习方法也被应用到文本分类领域。本文对基于深度神经网络的文本分类技术进行了介绍和分析,将详细介绍卷积神经网 络、循环神经网络、组合模型、注意力机制等方法在文本分类中的应用和发展,分析各类方 法的特点以及之间的区别,对不同方法的性能表现和适用场景进行分析比较,讨论在应用深度学习方法处理文本分类任务时应当注意的问题,最后指出未来的研究方向。

成为VIP会员查看完整内容
57

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
21+阅读 · 2021年1月5日
专知会员服务
37+阅读 · 2020年8月19日
【文本分类大综述:从浅层到深度学习,35页pdf】
专知会员服务
185+阅读 · 2020年8月6日
深度学习目标检测方法综述
专知会员服务
268+阅读 · 2020年8月1日
基于深度学习的表面缺陷检测方法综述
专知会员服务
84+阅读 · 2020年5月31日
基于小样本学习的图像分类技术综述
专知会员服务
148+阅读 · 2020年5月6日
基于深度学习的多标签生成研究进展
专知会员服务
140+阅读 · 2020年4月25日
专知会员服务
198+阅读 · 2020年3月6日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
228+阅读 · 2019年10月12日
基于深度学习的NLP 32页最新进展综述,190篇参考文献
人工智能学家
27+阅读 · 2018年12月4日
生成对抗网络的研究进展与趋势
中国计算机学会
35+阅读 · 2018年11月14日
博客 | 基于深度学习的目标检测算法综述(二)
AI研习社
11+阅读 · 2018年8月22日
【长篇干货】深度学习在文本分类中的应用
七月在线实验室
27+阅读 · 2018年4月4日
基于深度学习的文本分类?
数萃大数据
9+阅读 · 2018年3月4日
深度学习在文本分类中的应用
AI研习社
13+阅读 · 2018年1月7日
基于 word2vec 和 CNN 的文本分类 :综述 & 实践
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
Arxiv
23+阅读 · 2020年9月16日
Arxiv
3+阅读 · 2020年2月5日
Image Segmentation Using Deep Learning: A Survey
Arxiv
43+阅读 · 2020年1月15日
Arxiv
53+阅读 · 2018年12月11日
VIP会员
相关VIP内容
专知会员服务
21+阅读 · 2021年1月5日
专知会员服务
37+阅读 · 2020年8月19日
【文本分类大综述:从浅层到深度学习,35页pdf】
专知会员服务
185+阅读 · 2020年8月6日
深度学习目标检测方法综述
专知会员服务
268+阅读 · 2020年8月1日
基于深度学习的表面缺陷检测方法综述
专知会员服务
84+阅读 · 2020年5月31日
基于小样本学习的图像分类技术综述
专知会员服务
148+阅读 · 2020年5月6日
基于深度学习的多标签生成研究进展
专知会员服务
140+阅读 · 2020年4月25日
专知会员服务
198+阅读 · 2020年3月6日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
228+阅读 · 2019年10月12日
相关资讯
基于深度学习的NLP 32页最新进展综述,190篇参考文献
人工智能学家
27+阅读 · 2018年12月4日
生成对抗网络的研究进展与趋势
中国计算机学会
35+阅读 · 2018年11月14日
博客 | 基于深度学习的目标检测算法综述(二)
AI研习社
11+阅读 · 2018年8月22日
【长篇干货】深度学习在文本分类中的应用
七月在线实验室
27+阅读 · 2018年4月4日
基于深度学习的文本分类?
数萃大数据
9+阅读 · 2018年3月4日
深度学习在文本分类中的应用
AI研习社
13+阅读 · 2018年1月7日
基于 word2vec 和 CNN 的文本分类 :综述 & 实践
微信扫码咨询专知VIP会员