深度学习技术，在自然语言处理方面的七大应用（paper）

会员服务 ·

深度学习技术，在自然语言处理方面的七大应用（paper）

2017 年 10 月 27 日 MOOC 北辰

| 全文共7110字，建议阅读时长8分钟 |

转载公众号：机械鸡

微信号：jixieji2017

作者：北辰

自然语言处理（natural language processing，NLP）正在逐步从统计学方法转向神经网络方法。

尽管自然语言领域还存在许多极具挑战性的问题，但是深度学习方法的应用，却为某些特定的语言问题提供了最先进的解决思路。

深度学习模型的表现不仅仅局限于热门的基础问题。事实上，一个简单独立的深度学习模型就可以学习单词的意义和执行语言任务，避免了一系列的专业操作和人工流程。

在这篇文章中，您会发现七大自然语言处理应用，它们都已经应用深度学习在自然语言处理领域取得了一定的成果。

现在，就让我们正式开始。

目录Overview

这篇文章中，我们将讨论以下七种自然语言处理的常见应用：

1. 文本分类

2. 语言建模

3. 语音识别

4. 说明生成

5. 机器翻译

6. 文档总结

7. 问题回答

我将更多着重讨论您可能感兴趣的终端用户问题，而避开深度学习表现优异的学术或语言学的子问题，如词性标签、分块、命名实体识别等等。

每个任务都提供了任务描述，若干应用，以及含有详细方法和结果的论文。大多数的参考资料来自Goldberg2015年杰出的论文《NLP深度学习入门》(https://arxiv.org/abs/1510.00726)。

1. 文本分类Text Classification

文本分类是指给定一个文本，预测其所属的预定类别。

“文本分类的目的是对文档的主题或主旨进行分类。”

- p575, Foundations of Statistical Natural Language Processing(http://amzn.to/2ePBz9t), 1999

一种流行文本分类应用是情感分析(https://en.wikipedia.org/wiki/Sentiment_analysis)，其中的常用类别标签表示源文本的情绪色调，例如“积极”或“消极”。

其他3类文本分类的应用：

垃圾邮件过滤，依照文本分类电子邮件的垃圾邮件。
语言识别，对源文本的语言进行分类。
题材分类，分类虚构故事的体裁。

此外，还可以按需要给文本分配多个类别标签（即所谓的多标签分类）。例如为tweet分配多个主题标签。

更多关于文本分类的信息，请参阅：

文本分类的学术论文 (http://www.scholarpedia.org/article/Text_categorization)
文本分类的维基百科(https://en.wikipedia.org/wiki/Document_classification)

3篇深度学习应用于文本分类的论文：

烂番茄影评的情感分析
Deep Unordered Composition Rivals Syntactic Methods for Text Classification(https://cs.umd.edu/~miyyer/pubs/2015_acl_dan.pdf)，2015
亚马逊产品评论、IMDB影评和新闻文章主题分类的情感分析
Effective Use of Word Order for Text Categorization with Convolutional Neural Networks (https://arxiv.org/abs/1412.1058), 2015
影评的情感分析，将句子分为主观或客观，分类问题类型，产品评论情绪等
Convolutional Neural Networks for Sentence Classification (https://arxiv.org/abs/1408.5882), 2014.

2. 语言建模Language Modeling

语言建模真的是一个很有趣的自然语言问题的子任务，特别是在其他一些任务的基础上调节语言模型。

“问题是预测出给定单词的下一个单词。该任务是语音或光学字符识别的基础，也用于拼写校正，手写识别和统计学的机器翻译。”

- p575, Foundations of Statistical Natural Language Processing (http://amzn.to/2ePBz9t), 1999.

除了关于学术研究的兴趣，语言模型还是许多应用深度学习的自然语言处理架构的关键组成部分。

语言模型可以学习词与词之间的概率关系，然后生成与源文本统计上一致的词汇新序列。

语言模型可以用于文本或语音生成，应用如下：

生成新的文章标题。
生成新的句子，段落或文档。
生成后续句子建议。

更多有关语言建模信息，请参阅：

语言模型的维基百科 (https://en.wikipedia.org/wiki/Language_model)
循环神经网络的语言模型应用The Unreasonable Effectiveness of Recurrent Neural Networks (http://karpathy.github.io/2015/05/21/rnn-effectiveness/), 2015
基于模型生成的文本到语音合成（https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture 10 - Text to Speech.pdf）, 第10讲, 牛津，2017

1篇深度学习应用于语言建模的论文：

英语文本、书籍和新闻文章的语言模型。

A Neural Probabilistic Language Model （http://www.jmlr.org/papers/v3/bengio03a.html）, 2003

3. 语音识别Speech Recognition

语音识别是解决如何理解人类所说的问题。

“语音识别的任务是将包含口语在内的自然语言的声学信号转换成符合说话者预期的相应的单词序列。”

- p458, Deep Learning (http://amzn.to/2uE7WvS), 2016.

给定依据文本生成的音频数据，模型必须能生成人类可读的文本。鉴于过程的自动性，这个任务也可称为自动语音识别（Automatic Speech Recognition, ASR）。

语言模型用于创建以音频数据为基础的的输出文本，应用包括：

生成演讲文本。
为电影或电视节目创建字幕。
开车时向收音机发出命令。

更多有关语音识别信息，请参阅：

语音识别的维基百科 (https://en.wikipedia.org/wiki/Speech_recognition)

3篇深度学习应用于语音识别的论文：

循环神经网络标记未分段序列数据
Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks (http://www.cs.toronto.edu/~graves/icml_2006.pdf), 2006
循环神经网络标实现语音识别
Speech Recognition with Deep Recurrent Neural Networks (https://arxiv.org/abs/1303.5778), 2013
探索卷积神经网在语音识别的应用
Exploring convolutional neural network structures and optimization techniques for speech recognition (https://www.microsoft.com/en-us/research/publication/exploring-convolutional-neural-network-structures-and-optimization-techniques-for-speech-recognition/), 2014

4. 说明生成Caption Generation

说明生成是解决如何描述图像内容的问题，依照诸如照片等的数字图像生成和图像内容相关的文本描述。

说明生成的语言模型用于根据图像生成标题，一些具体的应用包括：

描述场景的内容。
创建照片的标题。
描述视频。

这项技术不仅仅可以造福听力障碍者，还可以为网站中的图像和视频数据生成人类可读的文本用于搜索。

3篇深度学习应用于说明生成的论文：

说明生成—图像描述
Show, Attend and Tell: Neural Image Caption Generation with Visual Attention (https://arxiv.org/abs/1502.03044), 2016
说明生成—图像描述
Show and tell: A neural image caption generator (https://arxiv.org/abs/1411.4555), 2015
说明生成—描述视频
Sequence to Sequence – Video to Text (https://arxiv.org/abs/1505.00487)

5. 机器翻译Machine Translation

机器翻译是指将一种语言的源文本转换为另一种语言。

“机器翻译，从一种语言到另一种语言的文本或语音的自动翻译，是NLP最重要的应用之一。”

- p463, Foundations of Statistical Natural Language Processing(http://amzn.to/2ePBz9t), 1999.

鉴于加入了深层神经网络，该任务现在也被称为神经机器翻译（neural machine translation）。

“在机器翻译任务中，输入是由某种语言的符号序列组成，而计算机程序必须将输入转换成其他语言的符号序列。机器翻译经常应用于自然语言，例如从英语翻译成法语。近来，深度学习开始对该任务产生重要影响。”

- p98, Deep Learning (http://amzn.to/2uE7WvS), 2016

机器翻译的语言模型用于依据源文本，输出第二语言的目标文本。常见应用如下：

将文本从法语翻译成英文。
将西班牙语音频转换为德语文本。
将英文文本翻译成意大利语。

更多有关机器翻译的信息，请参阅：

机器翻译的维基百科 (https://en.wikipedia.org/wiki/Neural_machine_translation)

3篇深度学习应用于机器翻译的论文：

英语翻法语—LSTM
Sequence to Sequence Learning with Neural Networks (https://arxiv.org/abs/1409.3215), 2014
英语翻法语—神经机器翻译
Neural Machine Translation by Jointly Learning to Align and Translate (https://arxiv.org/abs/1409.0473), 2014
英语翻法语—循环神经网络
Joint Language and Translation Modeling with Recurrent Neural Networks (https://www.microsoft.com/en-us/research/publication/joint-language-and-translation-modeling-with-recurrent-neural-networks/), 2013