报告题目: Attention in Deep learning

摘要:

注意力是非参数模型在深度学习中的关键机制。可以说,这是深度学习模型最新进展的基础。除了在神经机器翻译中介绍,它还可以追溯到神经科学。并且可以说是通过LSTMs的门控或遗忘机制引入的。在过去的5年里,注意力一直是推动自然语言处理、计算机视觉、语音识别、图像合成、解决旅行推销员问题或强化学习等领域的技术发展的关键。本教程对各种注意事项提供了一个连贯的概述,让其亲身体验如何复制和应用注意力机制,并且更深入地了解潜在的理论,详细展示了从最早的NWE到最新的Multiple Attention Heads的相关内容。

报告主要分为六个部分:

  1. Watson Nadaraya Estimator(NWE):最早的非参数回归(Nonparametric Regression)的工具之一,更具体地说是最早核回归技术(Kernel Regression Technique)由Nadaraya和Watson两人同时于1964年独立的提出。
  2. 池化 Pooling
    • 单目标 - 从池化 pooling 到注意力池化 attention pooling
    • 层次结构 - 分层注意力网络 Hierarchical attention network
  3. 迭代池化 Iterative Pooling
    • 问答 Question answering / 记忆网络 memory networks
  4. 迭代池化与生成器 Iterative Pooling and Generation
    • 神经机器翻译
  5. 多头注意力网络 Multiple Attention Heads
    • Transformers / BERT
    • Lightweight, structured, sparse
  6. 资源

邀请嘉宾:

Alexander J. Smola是亚马逊网络服务总监,2016年7月,加入了亚马逊网络服务(Amazon Web Services),打造人工智能和机器学习工具。主要研究兴趣包括深度学习:特别是状态更新、不变性和统计测试的算法;算法的可伸缩性、统计建模。

Aston Zhang是亚马逊网络服务人工智能的一名应用科学家。他的研究兴趣是深度学习。他在伊利诺伊大学香槟分校获得了计算机科学博士学位。他曾担任大数据前沿的编委会成员和ICML、NeurIPS、WWW、KDD、SIGIR和WSDM的项目委员会成员(审稿人)。他的书《深入学习》(Dive into Deep Learning)于2019年春季在加州大学伯克利分校(UC Berkeley)教授,并已被全世界用作教科书。

成为VIP会员查看完整内容
0
53

相关内容

非参数化回归是指并不需要知道总的分布的情况下进行的一种统计推断回归方法。

在过去几年里,注意力和记忆已经成为深度学习的两个重要的新组成部分。本讲座由DeepMind研究科学家Alex Graves讲授现在广泛使用的注意力机制,包括任何深度网络中的内隐注意力,以及离散和可区分的变体的显性注意力。然后讨论了具有外部记忆的网络,并解释了注意力是如何为他们提供选择性回忆的。它简要地回顾了Transformer,一种特别成功的注意力网络类型,最后看可变计算时间,这可以被视为一种形式的“注意力集中”。

地址:

https://ua-cam.com/video/AIiwuClvH6k/deepmind-x-ucl-deep-learning-lectures-8-12-attention-and-memory-in-deep-learning.html

Alex Graves在爱丁堡大学(University of Edinburgh)完成了理论物理学的理学学士学位,在剑桥大学(University of Cambridge)完成了数学的第三部分,在IDSIA与尤尔根·施米德胡贝尔(Jurgen Schmidhuber)一起完成了人工智能博士学位,之后在慕尼黑工业大学(technology University of Munich)和杰夫·辛顿(Geoff Hinton)一起完成了博士后学位。他现在是DeepMind的一名研究科学家。他的贡献包括用于序列标签的连接主义时态分类算法,随机梯度变分推理,神经图灵机/可微分神经计算机架构,以及用于强化学习的A2C算法。

关于讲座系列:

深度学习讲座系列是DeepMind与UCL人工智能中心之间的合作。在过去的十年中,深度学习已发展成为领先的人工智能范例,使我们能够以前所未有的准确性和规模从原始数据中学习复杂的功能。深度学习已应用于对象识别,语音识别,语音合成,预测,科学计算,控制等问题。由此产生的应用程序触及我们在医疗保健和医学研究,人机交互,通信,运输,保护,制造以及人类努力的许多其他领域中的所有生活。认识到这一巨大影响,深度学习的先驱获得了2019年图灵奖,这是计算机领域的最高荣誉。

在本系列讲座中,来自领先的AI研究实验室DeepMind的研究科学家针对深度学习中的一系列令人兴奋的主题进行了12次讲座,内容涵盖了通过围绕记忆,注意力和生成建模的先进思想来训练神经网络的基础知识,以及重要的 负责任的创新主题。

深度学习注意力与记忆机制

成为VIP会员查看完整内容
0
126

本次讲座是关于深度学习的最新研究和发展,并希望在2020年。这不是一个SOTA基准测试结果的列表,而是一组机器学习和人工智能创新的亮点,以及学术界、工业界和整个社会的进步。本讲座是麻省理工学院深度学习系列讲座的一部分。

地址:

https://youtu.be/0VH1Lim8gL8

Lex Fridman是一名俄裔美国科学家,教授,来自马萨诸塞州剑桥市的社交媒体名人。他目前是麻省理工学院的一名研究科学家。

成为VIP会员查看完整内容
0
53

报告主题: From System 1 Deep Learning to System 2 Deep Learning

报告简介: 早期,深度学习的进展主要集中在对静态数据集的学习上,主要用于各类感知任务,这些任务大都依靠人类的直觉,可以在无意识的情况下完成,可称为第一代系统需求。然而,最近几年,随着研究方向的转变和一些新工具的出现诸如soft-attention和深度强化学习领域的进展,它们为深度学习架构和训练框架的进一步发展,开启了新的大门,这种深度架构和训练框架有助于解决第二代系统需求(这种系统任务需要人类有意识的去完成),如在自然语言处理和其他应用当中的推理、规划、因果关系捕获和系统归纳等。从第一代系统的深度学习,扩展到第二代系统的任务之中,对于完成之前挖掘高层次抽象特征的目标是非常重要的,因为我们认为第二代系统需求,将会对表征学习提出更高的要求,以发掘出某种人类可以用语言进行巧妙处理的高级内容。我们认为,为了达到这个目标,soft-attention机制是关键因素,它每次都关注其中某几个概念并进行计算,因为意识先验及其相关的假设中,许多高层次的依赖关系可以被一个稀疏因子图近似地捕捉到。最后,报告介绍了元学习,这种先验意识和代理视角下的表征学习,会更加有助于以新颖的方式,支持强大的合成泛化形式。

嘉宾介绍: Yoshua Bengio是蒙特利尔大学计算机科学与运筹学系的教授,Mila和IVADO的科学总监和创始人,2018年图灵奖获得者,加拿大统计学习算法研究主席以及加拿大AI CIFAR主席。 他开创了深度学习的先河,并在2018年每天获得全球所有计算机科学家中最多的引用。 他是加拿大勋章的官员,加拿大皇家学会的成员,并于2017年被授予基拉姆奖,玛丽·维克多奖和年度无线电加拿大科学家,并且是NeurIPS顾问的成员, ICLR会议的董事会和联合创始人,以及CIFAR“机器和大脑学习”计划的程序总监。 他的目标是帮助发现通过学习产生智力的原理,并促进AI的发展以造福所有人。

成为VIP会员查看完整内容
0
91

报告题目: Bayesian Deep Learning

报告摘要: 深度神经网络是连接主义系统,通过它通过学习例子来完成任务,而不需要事先了解这些任务。它们可以很容易地扩展到数百万个数据点,并且可以通过随机梯度下降进行优化。贝叶斯方法可以用于学习神经网络权重的概率分布。贝叶斯深度学习与贝叶斯深度学习(如何对DNNs进行贝叶斯推理?如何学习分层结构的贝叶斯模型?),本篇报告给出一定解释。

嘉宾介绍: 朱军博士是清华大学计算机系长聘副教授、智能技术与系统国家重点实验室副主任、卡内基梅隆大学兼职教授。2013年,入选IEEE Intelligent Systems的“人工智能10大新星”(AI’s 10 to Watch)。他主要从事机器学习研究,在国际重要期刊与会议发表学术论文80余篇。担任国际期刊IEEE TPAMI和Artificial Intelligence的编委、国际会议ICML 2014地区联合主席、以及ICML、NIPS等国际会议的领域主席。

成为VIP会员查看完整内容
Bayesian Deep Learning.pdf
0
82

课程介绍: 最近两年,注意力模型(Attention Model)被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中,是深度学习技术中最值得关注与深入了解的核心技术之一,本课程从基础着手,由浅及深,详细介绍注意力神经网络。

主讲人: Xavier Bresson,人工智能/深度学习方面的顶级研究员,培训师和顾问。在“图深度学习”上的NeurIPS'17和CVPR'17(2019年顶级人工智能会议排名)上的演讲者,在剑桥,加州大学洛杉矶分校,布朗,清华,庞加莱,海德堡等地进行了30多次国际演讲。

课程大纲:

  • 神经网络
  • 神经网络sets
  • 记忆网络
  • Transformers
  • seq2seq Transformers
  • 语言模型Transformers
  • 图网络VS神经网络
  • 总结
成为VIP会员查看完整内容
0
118

主题: Deep Learning Compiler

简介:

Apache TVM是一个用于Cpu、Gpu和专用加速器的开源深度学习编译器堆栈。它的目标是缩小以生产力为中心的深度学习框架和以性能或效率为中心的硬件后端之间的差距。在此次演讲中主要围绕AWS AI的深度学习编译器的项目展开,讲述了如何通过TVM使用预量化模型,完全从零开始添加新的操作或者是降低到现有继电器操作符的序列。

邀请嘉宾:

Yida Wang是亚马逊AWS AI团队的一名应用科学家。在加入Amazon之前,曾在Intel实验室的并行计算实验室担任研究科学家。Yida Wang在普林斯顿大学获得了计算机科学和神经科学博士学位。研究兴趣是高性能计算和大数据分析。目前的工作是优化深度学习模型对不同硬件架构的推理,例如Cpu, Gpu, TPUs。

成为VIP会员查看完整内容
0
27

在深度学习中引入注意力机制提高了近年来各种模型的成功,并继续成为最先进模型中无处不在的组成部分。因此,我们对注意力及其如何实现其有效性的关注是至关重要的。

在这篇文章中,我将介绍注意力背后的主要概念,包括一个从序列到序列的注意力模型的实现,然后介绍注意力在Transformer中的应用,以及如何将注意力用于最新的结果。建议您对递归神经网络(RNNs)及其变体有一定的了解,或者对序列到序列模型如何工作有一定的了解。

成为VIP会员查看完整内容
0
120

主题: A Tutorial on Attention in Deep Learning

摘要: 注意力是使非参数模型在深度学习中发挥作用的关键机制。可以说,这是深度学习模型最新进展的基础。除了它在神经机器翻译中的引入,它还可以追溯到神经科学。它可以说是通过LSTMs的选通或遗忘机制引入的。在过去的5年里,人们的注意力一直是提高自然语言处理、计算机视觉、语音识别、图像合成、解决旅行推销员问题或强化学习等领域的技术水平的关键。本教程对各种类型的注意力提供了一个连贯的概述;使用Jupyter笔记本电脑进行有效的实施,允许观众亲身体验复制和应用注意力机制;以及一本教科书(www.d2l.ai),使观众能够更深入地钻研基础理论。

邀请嘉宾: Aston Zhang是Amazon Web Services人工智能的应用科学家。他的研究兴趣是深入学习。他在伊利诺伊大学香槟分校获得计算机科学博士学位。他曾担任大数据领域前沿的编辑委员会成员和ICML、NeurIPS、WWW、KDD、SIGIR和WSDM的项目委员会成员(评审员)。他的书《深入学习》(www.d2l.ai)于2019年春季在加州大学伯克利分校(UC Berkeley)授课,并在全球范围内被用作教科书。

Alex Smola,自2016年7月以来,担任Amazon Web Services的机器学习总监。

成为VIP会员查看完整内容
0
26
小贴士
相关论文
Do RNN and LSTM have Long Memory?
Jingyu Zhao,Feiqing Huang,Jia Lv,Yanjie Duan,Zhen Qin,Guodong Li,Guangjian Tian
16+阅读 · 2020年6月10日
Talking-Heads Attention
Noam Shazeer,Zhenzhong Lan,Youlong Cheng,Nan Ding,Le Hou
12+阅读 · 2020年3月5日
Yanbin Liu,Juho Lee,Minseop Park,Saehoon Kim,Eunho Yang,Sungju Hwang,Yi Yang
20+阅读 · 2018年12月25日
Graph2Seq: Graph to Sequence Learning with Attention-based Neural Networks
Kun Xu,Lingfei Wu,Zhiguo Wang,Yansong Feng,Michael Witbrock,Vadim Sheinin
6+阅读 · 2018年12月3日
Andreas Kamilaris,Francesc X. Prenafeta-Boldu
10+阅读 · 2018年7月31日
Wei Xue,Tao Li
12+阅读 · 2018年5月18日
Wenbin Li,Jing Huo,Yinghuan Shi,Yang Gao,Lei Wang,Jiebo Luo
8+阅读 · 2018年5月15日
Tom Young,Devamanyu Hazarika,Soujanya Poria,Erik Cambria
7+阅读 · 2018年2月20日
Li Wang,Ting Liu,Bing Wang,Xulei Yang,Gang Wang
13+阅读 · 2018年1月6日
Junxuan Chen,Baigui Sun,Hao Li,Hongtao Lu,Xian-Sheng Hua
4+阅读 · 2016年9月20日
Top