题目

NLP注意力机制综述论文翻译,Attention, please! A Critical Review of Neural Attention Models in Natural Language Processing

关键词

注意力机制,自然语言处理,深度学习,人工智能

简介

注意力是一种广泛用于神经体系结构的越来越流行的机制。由于该领域的快速发展,仍然缺少对注意力的系统概述。 在本文中,我们为自然语言处理的注意力体系结构定义了一个统一的模型,重点是旨在与文本数据的矢量表示一起工作的体系结构。 我们讨论了提案不同的方面,注意力的可能用途,并绘制了该领域的主要研究活动和公开挑战。

作者

Andrea Galassi

A.GALASSI@UNIBO.IT

Department of Computer Science and Engineering (DISI),

University of Bologna, Bologna, Italy ;

Marco Lippi

MARCO.LIPPI@UNIMORE.IT

Department of Sciences and Methods for Engineering (DISMI),

University of Modena and Reggio Emilia, Reggio Emilia, Italy ;

Paolo Torroni

PAOLO.TORRONI@UNIBO.IT

Department of Computer Science and Engineering (DISI),

University of Bologna, Bologna, Italy

成为VIP会员查看完整内容
Attention, please! A Critical Review of Neural Attention Models in NLP.pdf
90

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
机器翻译深度学习最新综述
专知会员服务
96+阅读 · 2020年2月20日
注意力机制模型最新综述
专知会员服务
259+阅读 · 2019年10月20日
Attention!注意力机制模型最新综述(附下载)
THU数据派
29+阅读 · 2019年4月13日
Attention!注意力机制模型最新综述
中国人工智能学会
18+阅读 · 2019年4月8日
Nature 一周论文导读 | 2019 年 2 月 14 日
科研圈
7+阅读 · 2019年2月24日
自然语言处理中注意力机制综述
AINLP
27+阅读 · 2019年1月21日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
338页新书《Deep Learning in Natural Language Processing》
机器学习算法与Python学习
8+阅读 · 2018年11月6日
注意力机制(Attention Mechanism)在自然语言处理中的应用
暗通沟渠:Multi-lingual Attention
我爱读PAMI
7+阅读 · 2018年2月24日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Arxiv
17+阅读 · 2019年4月5日
Arxiv
21+阅读 · 2018年8月30日
VIP会员
相关资讯
Attention!注意力机制模型最新综述(附下载)
THU数据派
29+阅读 · 2019年4月13日
Attention!注意力机制模型最新综述
中国人工智能学会
18+阅读 · 2019年4月8日
Nature 一周论文导读 | 2019 年 2 月 14 日
科研圈
7+阅读 · 2019年2月24日
自然语言处理中注意力机制综述
AINLP
27+阅读 · 2019年1月21日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
338页新书《Deep Learning in Natural Language Processing》
机器学习算法与Python学习
8+阅读 · 2018年11月6日
注意力机制(Attention Mechanism)在自然语言处理中的应用
暗通沟渠:Multi-lingual Attention
我爱读PAMI
7+阅读 · 2018年2月24日
微信扫码咨询专知VIP会员