In humans, Attention is a core property of all perceptual and cognitive operations. Given our limited ability to process competing sources, attention mechanisms select, modulate, and focus on the information most relevant to behavior. For decades, concepts and functions of attention have been studied in philosophy, psychology, neuroscience, and computing. For the last six years, this property has been widely explored in deep neural networks. Currently, the state-of-the-art in Deep Learning is represented by neural attention models in several application domains. This survey provides a comprehensive overview and analysis of developments in neural attention models. We systematically reviewed hundreds of architectures in the area, identifying and discussing those in which attention has shown a significant impact. We also developed and made public an automated methodology to facilitate the development of reviews in the area. By critically analyzing 650 works, we describe the primary uses of attention in convolutional, recurrent networks and generative models, identifying common subgroups of uses and applications. Furthermore, we describe the impact of attention in different application domains and their impact on neural networks' interpretability. Finally, we list possible trends and opportunities for further research, hoping that this review will provide a succinct overview of the main attentional models in the area and guide researchers in developing future approaches that will drive further improvements.


翻译:在人类中,注意力是所有感知和认知活动的核心属性。鉴于我们处理相互竞争的来源的能力有限,关注机制选择、调整和侧重于与行为最相关的信息。几十年来,在哲学、心理学、神经科学和计算机方面研究了关注的概念和功能。在过去六年里,这种财产在深层神经网络中得到了广泛的探索。目前,深层学习中最先进的是若干应用领域的神经关注模型。这项调查对神经关注模型的发展动态进行了全面的概述和分析。我们系统地审查了该地区数百个结构,查明和讨论关注已产生重大影响的那些结构。我们还开发并公布了一种自动化方法,以促进该领域审查的发展。我们通过批判性地分析650项作品,描述了革命性、经常性网络和基因化模型的主要关注用途,确定了共同的使用和应用分组。此外,我们描述了不同应用领域关注的影响及其对神经网络解释能力的影响。最后,我们列出了进一步研究的可能趋势和机会,希望这一审查将指导未来研究领域的主要关注方向。

53
下载
关闭预览

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
111+阅读 · 2020年3月18日
注意力机制模型最新综述
专知会员服务
224+阅读 · 2019年10月20日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
105+阅读 · 2019年10月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
58+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
72+阅读 · 2019年10月9日
Attention!注意力机制模型最新综述(附下载)
数据派THU
34+阅读 · 2019年4月14日
Attention!注意力机制模型最新综述
专知
63+阅读 · 2019年4月8日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
【推荐】深度学习情感分析综述
机器学习研究会
57+阅读 · 2018年1月26日
【论文】图上的表示学习综述
机器学习研究会
9+阅读 · 2017年9月24日
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
Arxiv
43+阅读 · 2021年5月3日
A Survey of Deep Learning for Scientific Discovery
Arxiv
28+阅读 · 2020年3月26日
Arxiv
13+阅读 · 2019年4月5日
Arxiv
11+阅读 · 2019年3月14日
Arxiv
11+阅读 · 2019年1月16日
A Comprehensive Survey on Graph Neural Networks
Arxiv
18+阅读 · 2019年1月3日
Arxiv
44+阅读 · 2018年12月11日
Arxiv
14+阅读 · 2018年2月7日
Arxiv
4+阅读 · 2017年4月12日
VIP会员
相关资讯
Attention!注意力机制模型最新综述(附下载)
数据派THU
34+阅读 · 2019年4月14日
Attention!注意力机制模型最新综述
专知
63+阅读 · 2019年4月8日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
【推荐】深度学习情感分析综述
机器学习研究会
57+阅读 · 2018年1月26日
【论文】图上的表示学习综述
机器学习研究会
9+阅读 · 2017年9月24日
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
相关论文
Arxiv
43+阅读 · 2021年5月3日
A Survey of Deep Learning for Scientific Discovery
Arxiv
28+阅读 · 2020年3月26日
Arxiv
13+阅读 · 2019年4月5日
Arxiv
11+阅读 · 2019年3月14日
Arxiv
11+阅读 · 2019年1月16日
A Comprehensive Survey on Graph Neural Networks
Arxiv
18+阅读 · 2019年1月3日
Arxiv
44+阅读 · 2018年12月11日
Arxiv
14+阅读 · 2018年2月7日
Arxiv
4+阅读 · 2017年4月12日
Top
微信扫码咨询专知VIP会员