LinkedIN最新《注意力模型》综述论文大全，20页pdf

注意力模型已经成为神经网络中的一个重要概念，在不同的应用领域得到了广泛的研究。本综述提供了一个关于注意力建模的结构化的和全面的概述。特别地，我们提出了一种分类法，将现有的注意力技术分组到一致类别中。我们回顾了显著的注意力融入的神经结构，并讨论了建模注意力已显示出重大影响的应用。最后，我们还描述了如何使用注意力来提高神经网络的可解释性。我们希望这个调查能提供一个关于注意力模型的简明介绍，并在为其应用开发方法时指导从业者。

https://www.zhuanzhi.ai/paper/f45bcdbf51a9f72d33c8abf9fa37146b

注意力模型(AM)首先被引入到机器翻译中[Bahdanau et al. 2015]，现在已经成为神经网络文献中的一个主导概念。在人工智能(AI)领域，注意力作为神经架构的重要组成部分，在自然语言处理(Galassi et al. 2020)、语音(Cho et al. 2015)和计算机视觉(Wang and Tax 2016)等大量应用中非常受欢迎。

注意力背后的直觉可以用人类生物系统来最好地解释。例如，我们的视觉处理系统倾向于选择性地关注图像的某些部分，而忽略其他可以帮助感知的无关信息[Xu et al. 2015]。同样地，在涉及语言、言语或视觉的问题中，输入的某些部分比其他部分更重要。例如，在翻译和总结任务中，只有输入序列中的特定单词可能与预测下一个单词相关。同样，在图像字幕问题中，输入图像的某些区域可能与生成标题中的下一个单词更相关。AM通过允许模型动态地只关注帮助有效执行手头任务的输入的某些部分来合并相关性的概念。使用AM对Yelp评论进行情感分类的例子[Yang et al. 2016]如图1所示。在这个例子中，AM了解到在五个句子中，第一个和第三个句子更相关。此外，这些句子中的delicious和amazing这两个词更有意义，更能决定评论的情绪。

目录内容：

• 注意力基础知识

• 注意力模型
  

• 注意力分类法
  

• 注意力网络架构

• 应用

• 注意力可解释

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“AM20” 可以获取《LinkedIN最新《注意力模型》综述论文大全，20页pdf》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源