MIT&哈佛大学最新综述文章：NLP模型的分析方法

【导读】自然语言处理领域今年来取得了很多令人瞩目的进展，神经网络模型逐步取代了传统模型的应用。目前，学术界已经提出了很多新式模型，其中许多方法被认为是不透明的，这使得研究人员需要以更新颖的方法进行分析，来解释神经网络。为此Yonatan Belinkov与James Glass对NLP中的分析方法进行了回顾。同时，根据研究趋势对其进行了分类，强调了现有方法的局限性，并指出了未来的潜在方向。

介绍：

近年来，深度学习的兴起改变了自然语言处理（NLP）领域。基于神经网络的模型在各种任务中获得了令人印象深刻的改进，包括语言建模、句法分析、机器翻译，以及许多其他任务中，均取得了较好的改进。这一进展伴随着无数新的神经网络架构出现，在许多情况下，传统的功能丰富的系统正在被旨在将输入文本映射到某些输出的端到端的神经网络所取代。随着端到端系统的普及，人们可能会指出两种趋势，首先，一些人反对放弃语言知识，并呼吁以不同的方式将其纳入网络，而另一方面，其他人则努力更好的理解神经语言处理模型的工作原理。这个主题主要分析分析神经网络与机器学习中的可解释性。我们为什么要分析NLP模型呢？在某种程度上，这个问题属于机器学习中可解释性的一个更大的问题，机器学习近年来一直是饱受争议的一个领域。

在NLP的背景下，需要根据早期的NLP工作来理解这个问题，在早期的NLP系统中，人类更容易理解语言的形态属性，它们可以是词汇类、句法类，语义关系等。理论上，人们可以观察统计NLP模型对这些特征的重要性影响，以便更好的理解模型。相比之下，当下的研究者更难以理解端到端神经网络模型中发生的事情，该模型接受输入（例如词向量）并生成输出（例如，句子分类）。因此，大部分分析工作旨在了解如何在神经网络中如何捕获NLP系统中的特征概念。

本文另外附有在线补充材料，详见主页：

https://boknilev.github.io/nlp-analysis-methods/

请关注专知公众号（扫一扫最下面专知二维码，或者点击上方蓝色专知）

• 后台回复“NLPSV” 就可以获取本文的下载链接~ 

附论文全文：

-END-

专 · 知

   专知开课啦!《深度学习: 算法到实战》, 中科院博士为你讲授！

请加专知小助手微信（扫一扫如下二维码添加），加入专知主题群, 咨询《深度学习:算法到实战》等~

欢迎微信扫一扫加入专知人工智能知识星球群，获取专业知识教程视频资料和与专家交流咨询！

请PC登录www.zhuanzhi.ai或者点击阅读原文，注册登录专知，获取更多AI知识资料！

点击“阅读原文”，了解报名专知《深度学习:算法到实战》课程

-END-

专 · 知

   专知开课啦!《深度学习: 算法到实战》, 中科院博士为你讲授！

请加专知小助手微信（扫一扫如下二维码添加），加入专知主题群, 咨询《深度学习:算法到实战》等~

欢迎微信扫一扫加入专知人工智能知识星球群，获取专业知识教程视频资料和与专家交流咨询！

请PC登录www.zhuanzhi.ai或者点击阅读原文，注册登录专知，获取更多AI知识资料！

点击“阅读原文”，了解报名专知《深度学习:算法到实战》课程