【DeepMind硬核课】深度学习注意力与记忆机制，附70页ppt与视频

在过去几年里，注意力和记忆已经成为深度学习的两个重要的新组成部分。本讲座由DeepMind研究科学家Alex Graves讲授现在广泛使用的注意力机制，包括任何深度网络中的内隐注意力，以及离散和可区分的变体的显性注意力。然后讨论了具有外部记忆的网络，并解释了注意力是如何为他们提供选择性回忆的。它简要地回顾了Transformer，一种特别成功的注意力网络类型，最后看可变计算时间，这可以被视为一种形式的“注意力集中”。

地址：

https://ua-cam.com/video/AIiwuClvH6k/deepmind-x-ucl-deep-learning-lectures-8-12-attention-and-memory-in-deep-learning.html

Alex Graves在爱丁堡大学(University of Edinburgh)完成了理论物理学的理学学士学位，在剑桥大学(University of Cambridge)完成了数学的第三部分，在IDSIA与尤尔根·施米德胡贝尔(Jurgen Schmidhuber)一起完成了人工智能博士学位，之后在慕尼黑工业大学(technology University of Munich)和杰夫·辛顿(Geoff Hinton)一起完成了博士后学位。他现在是DeepMind的一名研究科学家。他的贡献包括用于序列标签的连接主义时态分类算法，随机梯度变分推理，神经图灵机/可微分神经计算机架构，以及用于强化学习的A2C算法。

关于讲座系列：

深度学习讲座系列是DeepMind与UCL人工智能中心之间的合作。在过去的十年中，深度学习已发展成为领先的人工智能范例，使我们能够以前所未有的准确性和规模从原始数据中学习复杂的功能。深度学习已应用于对象识别，语音识别，语音合成，预测，科学计算，控制等问题。由此产生的应用程序触及我们在医疗保健和医学研究，人机交互，通信，运输，保护，制造以及人类努力的许多其他领域中的所有生活。认识到这一巨大影响，深度学习的先驱获得了2019年图灵奖，这是计算机领域的最高荣誉。

在本系列讲座中，来自领先的AI研究实验室DeepMind的研究科学家针对深度学习中的一系列令人兴奋的主题进行了12次讲座，内容涵盖了通过围绕记忆，注意力和生成建模的先进思想来训练神经网络的基础知识，以及重要的 负责任的创新主题。

深度学习注意力与记忆机制