深度学习注意力机制-Attention in Deep learning-附101页PPT

2019 年 9 月 23 日 专知

导读

Amazon网络服务机器学习负责人 Alexander J. Smola 在ICML2019会议上做了关于深度学习中的注意力机制的报告,详细展示了从最早的NWE到最新的Multiple Attention Heads的相关内容。


作者 | Alex Smola, Aston Zhang
编译 | Xiaowen

报告主要分为六个部分:
1. Watson Nadaraya Estimator(NWE):最早的非参数回归(Nonparametric Regression)的工具之一,更具体地说是最早核回归技术(Kernel Regression Technique由Nadaraya和Watson两人同时于1964年独立的提出
2. 池化 Pooling
  • 单目标 - 从池化 pooling 到注意力池化 attention pooling
  • 层次结构 - 分层注意力网络 Hierarchical attention network
3. 迭代池化 Iterative Pooling
  • 问答 Question answering / 记忆网络 memory networks
4. 迭代池化与生成器 Iterative Pooling and Generation
  • 神经机器翻译
5. 多头注意力网络 Multiple Attention Heads
  • Transformers / BERT
  • Lightweight, structured, sparse
6. 资源

完整PPT下载
请关注专知公众号(点击上方蓝色专知关注
  • 后台回复“ADL” 就可以获取完整版《Attention in Deep learning》的下载链接~ 


1. WNE


2. Pooling



3. Iterative Pooling



4. Iterative Pooling and Generation


篇幅有限,仅截取部分内容,完整内容请下载PPT查看。

5. Multiple Attention Heads


篇幅有限,仅截取部分内容,完整内容请下载PPT查看。



6. Resources


-END-

专 · 知


专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎登录www.zhuanzhi.ai,注册登录专知,获取更多AI知识资料!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询技术商务合作~

专知《深度学习:算法到实战》课程全部完成!560+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
131

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
165+阅读 · 2020年4月26日
MIT-深度学习Deep Learning State of the Art in 2020,87页ppt
专知会员服务
56+阅读 · 2020年2月17日
深度强化学习策略梯度教程,53页ppt
专知会员服务
135+阅读 · 2020年2月1日
深度学习界圣经“花书”《Deep Learning》中文版来了
专知会员服务
193+阅读 · 2019年10月26日
注意力机制介绍,Attention Mechanism
专知会员服务
139+阅读 · 2019年10月13日
【资源】深度学习模型压缩资源汇总
专知
36+阅读 · 2019年5月8日
深度学习中的注意力机制
CSDN大数据
21+阅读 · 2017年11月2日
Arxiv
22+阅读 · 2020年1月2日
Arxiv
7+阅读 · 2019年4月19日
Arxiv
14+阅读 · 2018年8月30日
Arxiv
11+阅读 · 2018年7月31日
Arxiv
14+阅读 · 2018年6月23日
Arxiv
16+阅读 · 2018年3月28日
Arxiv
25+阅读 · 2018年1月24日
VIP会员
相关VIP内容
深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
165+阅读 · 2020年4月26日
MIT-深度学习Deep Learning State of the Art in 2020,87页ppt
专知会员服务
56+阅读 · 2020年2月17日
深度强化学习策略梯度教程,53页ppt
专知会员服务
135+阅读 · 2020年2月1日
深度学习界圣经“花书”《Deep Learning》中文版来了
专知会员服务
193+阅读 · 2019年10月26日
注意力机制介绍,Attention Mechanism
专知会员服务
139+阅读 · 2019年10月13日
相关论文
Arxiv
22+阅读 · 2020年1月2日
Arxiv
7+阅读 · 2019年4月19日
Arxiv
14+阅读 · 2018年8月30日
Arxiv
11+阅读 · 2018年7月31日
Arxiv
14+阅读 · 2018年6月23日
Arxiv
16+阅读 · 2018年3月28日
Arxiv
25+阅读 · 2018年1月24日
Top
微信扫码咨询专知VIP会员