Attention!注意力机制模型最新综述

2019 年 4 月 8 日 专知

【导读】Attention模型目前已经成为神经网络中的一个重要概念,本文为大家带来了该模型的最新综述文章,详细描述了该模型的概念、定义、影响以及如何着手进行实践工作。


介绍:


本篇综述提供了关于注意力模型的全面概述,并且提供了一种将现有注意力模型进行有效分类的分类法,我们调查了用于不同网络结构的注意力模型,并显示了注意力机制如何提高模型的可解释性,最后,我们讨论了一些受到注意力模型较大影响的应用问题。我们希望本次综述能够为为大家提供一份简明扼要的介绍,帮助大家理解这一模型并着手进行实践。


注意力模型(AM)自机器翻译任务【Bahdanau et al 2014】首次引入进来,现在已经成为主流的神经网络概念。这一模型在研究社区中非常受欢迎,适用领域非常广泛,包括自然语言处理、统计学习、语音和计算机视觉方面的应用。


注意力模型的思想可以通过人类生物系统来进行解释,例如,在我们的视觉系统中,更倾向于关注图片的某一部分,而忽视其他不相干的信息,这样有助于提高感受能力。相似的,在某些问题涉及到文字、语音与视觉的任务中,部分信息的重要程度要明显高于其他信息,例如,在翻译与摘要任务中,输入序列中只有部分词汇与下个词的预测有关。同样的,在图片描述问题中,输入图像的某些区域可能对描述词更加相关。AM整合了这种相关信息,允许模型对某些有用的输入信息,动态的提供注意力,以此提高模型的性能,例如在文本分类任务中。



注意力模型的飞快发展可以被总结为三个理由:1、这些模型是很多任务的state-of-the-art,例如机器翻译、问答系统、情感分析、词性标注、对话系统等;2、除了提高任务性能之外,还带来了其他几种优势。如,提高模型的可解释性等;3、AM解决了RNN模型的很多问题,例如在面对长文本时的性能衰减,以及计算序列数据对任务的权重影响等。


文章从Number of Sequences、Number of Abstraction Levels、Number of Positions、Number of Representations等多个维度对注意力模型进行了分类,具体结果如下:




请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“ANSAM” 就可以获取《Attention 模型最新综述》的下载链接~ 


附全文预览:


-END-

专 · 知

专知《深度学习:算法到实战》课程全部完成!520+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询《深度学习:算法到实战》课程,咨询技术商务合作~

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
65

相关内容

专知会员服务
102+阅读 · 2020年3月12日
机器翻译深度学习最新综述
专知会员服务
96+阅读 · 2020年2月20日
医学图像分割的深度学习解决方案综述
专知会员服务
86+阅读 · 2020年2月14日
2019->2020必看的十篇「深度学习领域综述」论文
专知会员服务
269+阅读 · 2020年1月1日
注意力机制模型最新综述
专知会员服务
259+阅读 · 2019年10月20日
注意力机制介绍,Attention Mechanism
专知会员服务
164+阅读 · 2019年10月13日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
224+阅读 · 2019年10月12日
Attention!注意力机制模型最新综述(附下载)
THU数据派
29+阅读 · 2019年4月13日
自然语言处理中注意力机制综述
AINLP
27+阅读 · 2019年1月21日
注意力机制(Attention)最新综述论文及相关源码
人工智能学家
30+阅读 · 2018年11月17日
【干货】注意力机制(Attention)最新综述论文及相关源码
GAN生成式对抗网络
11+阅读 · 2018年11月16日
注意力机制(Attention Mechanism)在自然语言处理中的应用
深度学习中的注意力机制
CSDN大数据
24+阅读 · 2017年11月2日
Arxiv
29+阅读 · 2020年3月16日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Arxiv
17+阅读 · 2019年4月5日
A Comprehensive Survey on Graph Neural Networks
Arxiv
21+阅读 · 2019年1月3日
Arxiv
4+阅读 · 2018年10月31日
Arxiv
8+阅读 · 2018年5月24日
VIP会员
相关VIP内容
专知会员服务
102+阅读 · 2020年3月12日
机器翻译深度学习最新综述
专知会员服务
96+阅读 · 2020年2月20日
医学图像分割的深度学习解决方案综述
专知会员服务
86+阅读 · 2020年2月14日
2019->2020必看的十篇「深度学习领域综述」论文
专知会员服务
269+阅读 · 2020年1月1日
注意力机制模型最新综述
专知会员服务
259+阅读 · 2019年10月20日
注意力机制介绍,Attention Mechanism
专知会员服务
164+阅读 · 2019年10月13日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
224+阅读 · 2019年10月12日
相关资讯
Attention!注意力机制模型最新综述(附下载)
THU数据派
29+阅读 · 2019年4月13日
自然语言处理中注意力机制综述
AINLP
27+阅读 · 2019年1月21日
注意力机制(Attention)最新综述论文及相关源码
人工智能学家
30+阅读 · 2018年11月17日
【干货】注意力机制(Attention)最新综述论文及相关源码
GAN生成式对抗网络
11+阅读 · 2018年11月16日
注意力机制(Attention Mechanism)在自然语言处理中的应用
深度学习中的注意力机制
CSDN大数据
24+阅读 · 2017年11月2日
相关论文
Arxiv
29+阅读 · 2020年3月16日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Arxiv
17+阅读 · 2019年4月5日
A Comprehensive Survey on Graph Neural Networks
Arxiv
21+阅读 · 2019年1月3日
Arxiv
4+阅读 · 2018年10月31日
Arxiv
8+阅读 · 2018年5月24日
Top
微信扫码咨询专知VIP会员