基于深度学习的文本分类技术研究进展

摘要： 随着深度学习技术的快速发展，许多研究者尝试利用深度学习来解决文本分类问题，特别在卷积神 经网络和循环神经网络方面，出现了许多新颖且富有成效的分类方法。本文对基于深度神经网络的文本分类问题进行分析。分类介绍基于深度学习的文本分类方法，研究卷积神经网络、循环神经网络、注意力机 制等方法在文本分类中的应用和发展，分析不同深度学习文本分类方法的特点和性能，从准确率和运行时 间方面对基础网络结构进行比较。已有研究和本文实验结果表明，深度神经网络方法的分类性能超过了传 统的机器学习方法，卷积神经网络具有良好的分类性能。分析当前深度文本分类模型的不足，并对未来的 研究方向进行展望。

http://www.ecice06.com/CN/10.19678/j.issn.1000-3428.0059099

文本分类技术经历了从专家系统到机器学习再到深度学习的发展过程。上世纪 80 年代 以前，基于规则系统的文本分类方法需要领域专家定义一系列分类规则，通过规则匹配判断 文本类别。基于规则的分类方法容易理解，但该方法依赖专家知识，构建成本高，系统可移 植性差。到上世纪 90 年代，机器学习技术逐渐走向成熟，出现了许多经典的文本分类算法， 如决策树[1]、朴素贝叶斯[2]、支持向量机[3]、最大熵[4]、最近邻方法[5]等，这些方法部分克服 了前述缺点，一定程度上实现了分类器的自动生成，被广泛应用的各个领域，但其缺点是在 构建分类器之前，通常需要繁杂的人工特征工程。2012 年开始，深度学习算法引起了越来 越多人的关注，深度学习为机器学习建模提供了一种直接端到端的解决方案，避免了复杂的 特征工程。Golve[6]和 word2vec[7]等词向量模型的提出，为深度学习算法应用到文本处理领域 上铺平了道路，随后出现了各种基于深度神经网络的文本分类方法，这些方法主要采用了卷 积神经网络（convolutional neural networks，CNN）、循环神经网络（recurrent neural networks， RNN）、注意力机制（attention mechanism）等深度学习技术，并且取得了比传统方法更为 出色的性能。近年来，图卷积网络（graph convolutional network，GCN）、区域嵌入（region embedding）、元学习（meta-learning）等一些新的深度学习方法也被应用到文本分类领域。本文对基于深度神经网络的文本分类技术进行了介绍和分析，将详细介绍卷积神经网 络、循环神经网络、组合模型、注意力机制等方法在文本分类中的应用和发展，分析各类方 法的特点以及之间的区别，对不同方法的性能表现和适用场景进行分析比较，讨论在应用深度学习方法处理文本分类任务时应当注意的问题，最后指出未来的研究方向。