【2020关键词提取】基于深度神经网络的关键词提取，Keywords extraction with deep neural network model

题目

Keywords extraction with deep neural network model

关键词

关键词提取，自然语言处理，深度神经语言模型，人工智能

简介

关键字可以表达文章或句子的主要内容。关键字提取是许多自然语言处理（NLP）应用程序中的关键问题，它可以提高许多NLP系统的性能。关键字提取的传统方法基于机器学习或图模型。这些方法的性能受功能选择和手动定义的规则影响。近年来，随着深度学习技术的出现，具有深度学习算法的自动学习功能可以提高许多任务的性能。在本文中，我们提出了一种用于关键字提取任务的深度神经网络模型。我们在传统LSTM模型的基础上进行了两个扩展。首先，为了更好地利用给定目标词的历史和后续上下文信息，我们提出了基于目标中心的LSTM模型（TC-LSTM），该模型通过考虑目标词的上下文信息来学习对目标词进行编码。其次，在TC-LSTM模型的基础上，我们应用了自我关注机制，这使我们的模型能够专注于相关文本的信息部分。另外，我们还介绍了一种利用大规模伪训练数据的两阶段训练方法。实验结果表明了我们方法的优势，我们的模型击败了所有基准系统。而且，两阶段训练方法对于提高模型的有效性也具有重要意义。

作者

Yu Zhang, Mingxiang Tuo, Qingyu Yin, Le Qi, Xuxiang Wang, Ting Liu