MIT&哈佛大学最新综述文章：NLP模型的分析方法- 专知

MIT&哈佛大学最新综述文章：NLP模型的分析方法

【导读】自然语言处理领域今年来取得了很多令人瞩目的进展，神经网络模型逐步取代了传统模型的应用。目前，学术界已经提出了很多新式模型，其中许多方法被认为是不透明的，这使得研究人员需要以更新颖的方法进行分析，来解释神经网络。为此Yonatan Belinkov与James Glass对NLP中的分析方法进行了回顾。同时，根据研究趋势对其进行了分类，强调了现有方法的局限性，并指出了未来的潜在方向。

介绍：

近年来，深度学习的兴起改变了自然语言处理（NLP）领域。基于神经网络的模型在各种任务中获得了令人印象深刻的改进，包括语言建模、句法分析、机器翻译，以及许多其他任务中，均取得了较好的改进。这一进展伴随着无数新的神经网络架构出现，在许多情况下，传统的功能丰富的系统正在被旨在将输入文本映射到某些输出的端到端的神经网络所取代。随着端到端系统的普及，人们可能会指出两种趋势，首先，一些人反对放弃语言知识，并呼吁以不同的方式将其纳入网络，而另一方面，其他人则努力更好的理解神经语言处理模型的工作原理。这个主题主要分析分析神经网络与机器学习中的可解释性。我们为什么要分析NLP模型呢？在某种程度上，这个问题属于机器学习中可解释性的一个更大的问题，机器学习近年来一直是饱受争议的一个领域。

在NLP的背景下，需要根据早期的NLP工作来理解这个问题，在早期的NLP系统中，人类更容易理解语言的形态属性，它们可以是词汇类、句法类，语义关系等。理论上，人们可以观察统计NLP模型对这些特征的重要性影响，以便更好的理解模型。相比之下，当下的研究者更难以理解端到端神经网络模型中发生的事情，该模型接受输入（例如词向量）并生成输出（例如，句子分类）。因此，大部分分析工作旨在了解如何在神经网络中如何捕获NLP系统中的特征概念。

本文另外附有在线补充材料，详见主页：

https://boknilev.github.io/nlp-analysis-methods/