KDNN题目
Keywords extraction with deep neural network model
关键词
关键词提取,自然语言处理,深度神经语言模型,人工智能
简介
关键字可以表达文章或句子的主要内容。关键字提取是许多自然语言处理(NLP)应用程序中的关键问题,它可以提高许多NLP系统的性能。关键字提取的传统方法基于机器学习或图模型。这些方法的性能受功能选择和手动定义的规则影响。近年来,随着深度学习技术的出现,具有深度学习算法的自动学习功能可以提高许多任务的性能。在本文中,我们提出了一种用于关键字提取任务的深度神经网络模型。我们在传统LSTM模型的基础上进行了两个扩展。首先,为了更好地利用给定目标词的历史和后续上下文信息,我们提出了基于目标中心的LSTM模型(TC-LSTM),该模型通过考虑目标词的上下文信息来学习对目标词进行编码。其次,在TC-LSTM模型的基础上,我们应用了自我关注机制,这使我们的模型能够专注于相关文本的信息部分。另外,我们还介绍了一种利用大规模伪训练数据的两阶段训练方法。实验结果表明了我们方法的优势,我们的模型击败了所有基准系统。而且,两阶段训练方法对于提高模型的有效性也具有重要意义。
作者
Yu Zhang, Mingxiang Tuo, Qingyu Yin, Le Qi, Xuxiang Wang, Ting Liu
https://www.sciencedirect.com/science/article/pii/S092523121931687X
专知便捷查看
便捷下载,请关注专知公众号(点击上方蓝色专知关注)
后台回复“KDNN” 可以获取《基于深度神经网络的关键词提取,Keywords extraction with DNN》专知下载链接索引