【ICML2019 Tutorials】深度学习中的注意力（A Tutorial on Attention in Deep Learning），Amazon Web Services应用科学家| Aston Zhang，Amazon Web Services机器学习总监| Alex Smola

主题： A Tutorial on Attention in Deep Learning

摘要： 注意力是使非参数模型在深度学习中发挥作用的关键机制。可以说，这是深度学习模型最新进展的基础。除了它在神经机器翻译中的引入，它还可以追溯到神经科学。它可以说是通过LSTMs的选通或遗忘机制引入的。在过去的5年里，人们的注意力一直是提高自然语言处理、计算机视觉、语音识别、图像合成、解决旅行推销员问题或强化学习等领域的技术水平的关键。本教程对各种类型的注意力提供了一个连贯的概述；使用Jupyter笔记本电脑进行有效的实施，允许观众亲身体验复制和应用注意力机制；以及一本教科书（www.d2l.ai），使观众能够更深入地钻研基础理论。

邀请嘉宾： Aston Zhang是Amazon Web Services人工智能的应用科学家。他的研究兴趣是深入学习。他在伊利诺伊大学香槟分校获得计算机科学博士学位。他曾担任大数据领域前沿的编辑委员会成员和ICML、NeurIPS、WWW、KDD、SIGIR和WSDM的项目委员会成员（评审员）。他的书《深入学习》（www.d2l.ai）于2019年春季在加州大学伯克利分校（UC Berkeley）授课，并在全球范围内被用作教科书。

Alex Smola，自2016年7月以来，担任Amazon Web Services的机器学习总监。