在人类中,注意力是所有感知和认知操作的核心属性。考虑到我们处理竞争性信息来源的能力有限,注意力机制选择、调整和关注与行为最相关的信息。

几十年来,哲学、心理学、神经科学和计算机科学都在研究注意力的概念和功能。在过去的六年中,这一特性在深度神经网络中得到了广泛的研究。目前,深度学习的研究进展主要体现在几个应用领域的神经注意力模型上。

本研究对神经注意力模型的发展进行了全面的概述和分析。我们系统地回顾了该领域的数百个架构,识别并讨论了那些注意力显示出重大影响的架构。我们亦制订了一套自动化方法体系,并将其公诸于众,以促进这方面的研究工作。通过批判性地分析650部文献,我们描述了注意力在卷积、循环网络和生成模型中的主要用途,识别了使用和应用的共同子组。

此外,我们还描述了注意力在不同应用领域的影响及其对神经网络可解释性的影响。最后,我们列出了进一步研究的可能趋势和机会,希望这篇综述能够对该领域的主要注意力模型提供一个简明的概述,并指导研究者开发未来的方法,以推动进一步的改进。

成为VIP会员查看完整内容
201

相关内容

麦克瑞大学最新「深度学习社区检测」综述论文,28页pdf
最新《图机器学习》综述论文,19页pdf
专知会员服务
144+阅读 · 2021年5月5日
注意力机制综述
专知会员服务
198+阅读 · 2021年1月26日
LinkedIn最新《注意力模型》综述论文大全,20页pdf
专知会员服务
134+阅读 · 2020年12月20日
最新《深度学习视频异常检测》2020综述论文,21页pdf
专知会员服务
80+阅读 · 2020年9月30日
最新《图神经网络模型与应用》综述论文
专知会员服务
290+阅读 · 2020年8月2日
专知会员服务
197+阅读 · 2020年3月6日
注意力机制模型最新综述
专知会员服务
259+阅读 · 2019年10月20日
【综述】医疗可解释人工智能综述论文
专知
32+阅读 · 2019年7月18日
图数据表示学习综述论文
专知
51+阅读 · 2019年6月10日
Attention!注意力机制模型最新综述(附下载)
THU数据派
29+阅读 · 2019年4月13日
Attention!注意力机制模型最新综述
专知
65+阅读 · 2019年4月8日
自动驾驶最新综述论文(31页PDF下载)
专知
118+阅读 · 2019年1月15日
综述 | 近年来深度学习的重要研究成果(附PDF)
数据派THU
14+阅读 · 2018年8月15日
Arxiv
7+阅读 · 2020年10月7日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Arxiv
17+阅读 · 2019年4月5日
Arxiv
135+阅读 · 2018年10月8日
Arxiv
11+阅读 · 2018年7月8日
VIP会员
相关VIP内容
麦克瑞大学最新「深度学习社区检测」综述论文,28页pdf
最新《图机器学习》综述论文,19页pdf
专知会员服务
144+阅读 · 2021年5月5日
注意力机制综述
专知会员服务
198+阅读 · 2021年1月26日
LinkedIn最新《注意力模型》综述论文大全,20页pdf
专知会员服务
134+阅读 · 2020年12月20日
最新《深度学习视频异常检测》2020综述论文,21页pdf
专知会员服务
80+阅读 · 2020年9月30日
最新《图神经网络模型与应用》综述论文
专知会员服务
290+阅读 · 2020年8月2日
专知会员服务
197+阅读 · 2020年3月6日
注意力机制模型最新综述
专知会员服务
259+阅读 · 2019年10月20日
相关论文
Arxiv
7+阅读 · 2020年10月7日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Arxiv
17+阅读 · 2019年4月5日
Arxiv
135+阅读 · 2018年10月8日
Arxiv
11+阅读 · 2018年7月8日
微信扫码咨询专知VIP会员