Attention模型目前已经成为神经网络中的一个重要概念,注意力模型(AM)自机器翻译任务【Bahdanau et al 2014】首次引入进来,现在已经成为主流的神经网络概念。这一模型在研究社区中非常受欢迎,适用领域非常广泛,包括自然语言处理、统计学习、语音和计算机视觉方面的应用。本篇综述提供了关于注意力模型的全面概述,并且提供了一种将现有注意力模型进行有效分类的分类法,调查了用于不同网络结构的注意力模型,并显示了注意力机制如何提高模型的可解释性,最后,讨论了一些受到注意力模型较大影响的应用问题。

成为VIP会员查看完整内容
An Attentive Survey of Attention Models.pdf
263

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
最新《深度学习行人重识别》综述论文,24页pdf
专知会员服务
80+阅读 · 2020年5月5日
专知会员服务
103+阅读 · 2020年3月12日
专知会员服务
198+阅读 · 2020年3月6日
机器翻译深度学习最新综述
专知会员服务
98+阅读 · 2020年2月20日
自动机器学习:最新进展综述
专知会员服务
118+阅读 · 2019年10月13日
可解释推荐:综述与新视角
专知会员服务
109+阅读 · 2019年10月13日
注意力机制介绍,Attention Mechanism
专知会员服务
168+阅读 · 2019年10月13日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
229+阅读 · 2019年10月12日
【文献综述】图像分割综述,224篇参考文献,附58页PDF
专知会员服务
118+阅读 · 2019年6月16日
Attention!注意力机制模型最新综述(附下载)
THU数据派
29+阅读 · 2019年4月13日
Attention!注意力机制模型最新综述
中国人工智能学会
18+阅读 · 2019年4月8日
自然语言处理中注意力机制综述
黑龙江大学自然语言处理实验室
11+阅读 · 2019年2月26日
清华大学图神经网络综述:模型与应用
机器之心
74+阅读 · 2018年12月26日
图神经网络综述:模型与应用
PaperWeekly
197+阅读 · 2018年12月26日
注意力机制(Attention)最新综述论文及相关源码
人工智能学家
30+阅读 · 2018年11月17日
深度学习中的注意力机制
CSDN大数据
24+阅读 · 2017年11月2日
Arxiv
29+阅读 · 2020年3月16日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Arxiv
19+阅读 · 2019年4月5日
A Comprehensive Survey on Graph Neural Networks
Arxiv
21+阅读 · 2019年1月3日
Arxiv
4+阅读 · 2018年10月31日
Arxiv
22+阅读 · 2018年8月30日
Arxiv
9+阅读 · 2018年5月24日
VIP会员
相关VIP内容
最新《深度学习行人重识别》综述论文,24页pdf
专知会员服务
80+阅读 · 2020年5月5日
专知会员服务
103+阅读 · 2020年3月12日
专知会员服务
198+阅读 · 2020年3月6日
机器翻译深度学习最新综述
专知会员服务
98+阅读 · 2020年2月20日
自动机器学习:最新进展综述
专知会员服务
118+阅读 · 2019年10月13日
可解释推荐:综述与新视角
专知会员服务
109+阅读 · 2019年10月13日
注意力机制介绍,Attention Mechanism
专知会员服务
168+阅读 · 2019年10月13日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
229+阅读 · 2019年10月12日
【文献综述】图像分割综述,224篇参考文献,附58页PDF
专知会员服务
118+阅读 · 2019年6月16日
相关资讯
Attention!注意力机制模型最新综述(附下载)
THU数据派
29+阅读 · 2019年4月13日
Attention!注意力机制模型最新综述
中国人工智能学会
18+阅读 · 2019年4月8日
自然语言处理中注意力机制综述
黑龙江大学自然语言处理实验室
11+阅读 · 2019年2月26日
清华大学图神经网络综述:模型与应用
机器之心
74+阅读 · 2018年12月26日
图神经网络综述:模型与应用
PaperWeekly
197+阅读 · 2018年12月26日
注意力机制(Attention)最新综述论文及相关源码
人工智能学家
30+阅读 · 2018年11月17日
深度学习中的注意力机制
CSDN大数据
24+阅读 · 2017年11月2日
相关论文
Arxiv
29+阅读 · 2020年3月16日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Arxiv
19+阅读 · 2019年4月5日
A Comprehensive Survey on Graph Neural Networks
Arxiv
21+阅读 · 2019年1月3日
Arxiv
4+阅读 · 2018年10月31日
Arxiv
22+阅读 · 2018年8月30日
Arxiv
9+阅读 · 2018年5月24日
微信扫码咨询专知VIP会员