本文主要基于2020 EMNLP Workshop上的一篇综述文章，介绍了NLP可解释领域的重大争议——注意力机制是否能作为解释？而什么方法才是真正符合解释逻辑的？
原论文链接：https://arxiv.org/abs/2010.05607
The elephant in the interpretability room: Why use attention as explanation when we have saliency methods?
本文目录 0. 引言：问题描述 1.注意力方法：是否构成可解释？
- 关于注意力的辩论
- 注意力分析的问题是否合理
- 注意力方法与因果解释
- 改进注意力以更好地作出解释
- 显著性方法
- 基于梯度的方法（gradient-based methods）
- 基于传播的方法（propagation-based methods）
- 基于遮挡的方法（occlusion-based methods）
- 注意力vs显著性
- 注意力一无是处？非也
- 注意力研究依然重要
- 注意力可以为其他解释提供参考
- 显著性就是终极的解释方法了吗？
- 在显著性之外
- 显著性方法的局限性
- 结论
成为VIP会员查看完整内容
The elephant in the interpretability room: Why use attention as explanation when we have saliency methods?
相关内容
Attention机制最早是在视觉图像领域提出来的，但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14]，他们在RNN模型上使用了attention机制来进行图像分类。随后，Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中，使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行，他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近，如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
Arxiv
100+阅读 · 2020年2月20日
相关VIP内容
相关资讯
相关论文
Arxiv
100+阅读 · 2020年2月20日
微信扫码咨询专知VIP会员