主题: A Tutorial on Attention in Deep Learning

摘要: 注意力是使非参数模型在深度学习中发挥作用的关键机制。可以说,这是深度学习模型最新进展的基础。除了它在神经机器翻译中的引入,它还可以追溯到神经科学。它可以说是通过LSTMs的选通或遗忘机制引入的。在过去的5年里,人们的注意力一直是提高自然语言处理、计算机视觉、语音识别、图像合成、解决旅行推销员问题或强化学习等领域的技术水平的关键。本教程对各种类型的注意力提供了一个连贯的概述;使用Jupyter笔记本电脑进行有效的实施,允许观众亲身体验复制和应用注意力机制;以及一本教科书(www.d2l.ai),使观众能够更深入地钻研基础理论。

邀请嘉宾: Aston Zhang是Amazon Web Services人工智能的应用科学家。他的研究兴趣是深入学习。他在伊利诺伊大学香槟分校获得计算机科学博士学位。他曾担任大数据领域前沿的编辑委员会成员和ICML、NeurIPS、WWW、KDD、SIGIR和WSDM的项目委员会成员(评审员)。他的书《深入学习》(www.d2l.ai)于2019年春季在加州大学伯克利分校(UC Berkeley)授课,并在全球范围内被用作教科书。

Alex Smola,自2016年7月以来,担任Amazon Web Services的机器学习总监。

成为VIP会员查看完整内容
28

相关内容

人工智能(Artificial Intelligence, AI )是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支。
深度学习自然语言处理概述,116页ppt,Jiří Materna
专知会员服务
65+阅读 · 2020年3月10日
【教程】TensorFlow2 最新迁移学习教程和实战
ICML2019《元学习》教程与必读论文列表
专知
38+阅读 · 2019年6月16日
ICML2019机器学习顶会接受论文列表!
专知
9+阅读 · 2019年5月12日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
2019最新-UC Berkeley-《深度学习入门课程》分享
深度学习与NLP
10+阅读 · 2019年3月1日
Talking-Heads Attention
Arxiv
13+阅读 · 2020年3月5日
Area Attention
Arxiv
5+阅读 · 2019年5月23日
Arxiv
44+阅读 · 2018年12月11日
Arxiv
11+阅读 · 2018年7月31日
Arxiv
14+阅读 · 2018年6月23日
VIP会员
相关VIP内容
深度学习自然语言处理概述,116页ppt,Jiří Materna
专知会员服务
65+阅读 · 2020年3月10日
相关论文
Talking-Heads Attention
Arxiv
13+阅读 · 2020年3月5日
Area Attention
Arxiv
5+阅读 · 2019年5月23日
Arxiv
44+阅读 · 2018年12月11日
Arxiv
11+阅读 · 2018年7月31日
Arxiv
14+阅读 · 2018年6月23日
微信扫码咨询专知VIP会员