Attention模型目前已经成为神经网络中的一个重要概念,注意力模型(AM)自机器翻译任务【Bahdanau et al 2014】首次引入进来,现在已经成为主流的神经网络概念。这一模型在研究社区中非常受欢迎,适用领域非常广泛,包括自然语言处理、统计学习、语音和计算机视觉方面的应用。本篇综述提供了关于注意力模型的全面概述,并且提供了一种将现有注意力模型进行有效分类的分类法,调查了用于不同网络结构的注意力模型,并显示了注意力机制如何提高模型的可解释性,最后,讨论了一些受到注意力模型较大影响的应用问题。

成为VIP会员查看完整内容
An Attentive Survey of Attention Models.pdf
0
191

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。

题目: A Survey of Deep Learning Techniques for Neural Machine Translation

摘要: 近年来,随着深度学习技术的发展,自然语言处理(NLP)得到了很大的发展。在机器翻译领域,出现了一种新的方法——神经机器翻译(NMT),引起了学术界和工业界的广泛关注。然而,在过去的几年里提出的大量的研究,很少有人研究这一新技术趋势的发展过程。本文回顾了神经机器翻译的起源和主要发展历程,描述了神经机器翻译的重要分支,划分了不同的研究方向,并讨论了未来该领域的一些研究趋势。

成为VIP会员查看完整内容
0
73

在过去的几年里,自然语言处理领域由于深度学习模型的大量使用而得到了发展。这份综述提供了一个NLP领域的简要介绍和一个快速的深度学习架构和方法的概述。然后,筛选了大量最近的研究论文,并总结了大量相关的贡献。NLP研究领域除了计算语言学的一些应用外,还包括几个核心的语言处理问题。然后讨论了目前的技术水平,并对该领域今后的研究提出了建议。

成为VIP会员查看完整内容
0
157
小贴士
相关VIP内容
专知会员服务
58+阅读 · 2020年5月5日
专知会员服务
77+阅读 · 2020年3月12日
专知会员服务
152+阅读 · 2020年3月6日
机器翻译深度学习最新综述
专知会员服务
73+阅读 · 2020年2月20日
自动机器学习:最新进展综述
专知会员服务
78+阅读 · 2019年10月13日
可解释推荐:综述与新视角
专知会员服务
81+阅读 · 2019年10月13日
注意力机制介绍,Attention Mechanism
专知会员服务
120+阅读 · 2019年10月13日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
157+阅读 · 2019年10月12日
【文献综述】图像分割综述,224篇参考文献,附58页PDF
专知会员服务
84+阅读 · 2019年6月16日
相关资讯
Attention!注意力机制模型最新综述(附下载)
THU数据派
25+阅读 · 2019年4月13日
Attention!注意力机制模型最新综述
中国人工智能学会
15+阅读 · 2019年4月8日
自然语言处理中注意力机制综述
黑龙江大学自然语言处理实验室
8+阅读 · 2019年2月26日
清华大学图神经网络综述:模型与应用
机器之心
54+阅读 · 2018年12月26日
图神经网络综述:模型与应用
PaperWeekly
165+阅读 · 2018年12月26日
注意力机制(Attention)最新综述论文及相关源码
人工智能学家
29+阅读 · 2018年11月17日
深度学习中的注意力机制
CSDN大数据
19+阅读 · 2017年11月2日
相关论文
Qi Liu,Matt J. Kusner,Phil Blunsom
24+阅读 · 2020年3月16日
Talking-Heads Attention
Noam Shazeer,Zhenzhong Lan,Youlong Cheng,Nan Ding,Le Hou
12+阅读 · 2020年3月5日
Yu Cheng,Duo Wang,Pan Zhou,Tao Zhang
46+阅读 · 2019年9月8日
Sneha Chaudhari,Gungor Polatkan,Rohan Ramanath,Varun Mithal
12+阅读 · 2019年4月5日
A Comprehensive Survey on Graph Neural Networks
Zonghan Wu,Shirui Pan,Fengwen Chen,Guodong Long,Chengqi Zhang,Philip S. Yu
18+阅读 · 2019年1月3日
A Hierarchical Neural Network for Sequence-to-Sequences Learning
Si Zuo,Zhimin Xu
3+阅读 · 2018年11月23日
Ofir Press,Noah A. Smith
3+阅读 · 2018年10月31日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Caglar Gulcehre,Misha Denil,Mateusz Malinowski,Ali Razavi,Razvan Pascanu,Karl Moritz Hermann,Peter Battaglia,Victor Bapst,David Raposo,Adam Santoro,Nando de Freitas
8+阅读 · 2018年5月24日
Ahmed Osman,Wojciech Samek
7+阅读 · 2018年2月1日
Top