主题: A Tutorial on Attention in Deep Learning

摘要: 注意力是使非参数模型在深度学习中发挥作用的关键机制。可以说,这是深度学习模型最新进展的基础。除了它在神经机器翻译中的引入,它还可以追溯到神经科学。它可以说是通过LSTMs的选通或遗忘机制引入的。在过去的5年里,人们的注意力一直是提高自然语言处理、计算机视觉、语音识别、图像合成、解决旅行推销员问题或强化学习等领域的技术水平的关键。本教程对各种类型的注意力提供了一个连贯的概述;使用Jupyter笔记本电脑进行有效的实施,允许观众亲身体验复制和应用注意力机制;以及一本教科书(www.d2l.ai),使观众能够更深入地钻研基础理论。

邀请嘉宾: Aston Zhang是Amazon Web Services人工智能的应用科学家。他的研究兴趣是深入学习。他在伊利诺伊大学香槟分校获得计算机科学博士学位。他曾担任大数据领域前沿的编辑委员会成员和ICML、NeurIPS、WWW、KDD、SIGIR和WSDM的项目委员会成员(评审员)。他的书《深入学习》(www.d2l.ai)于2019年春季在加州大学伯克利分校(UC Berkeley)授课,并在全球范围内被用作教科书。

Alex Smola,自2016年7月以来,担任Amazon Web Services的机器学习总监。

成为VIP会员查看完整内容
0
26

相关内容

人工智能(Artificial Intelligence, AI )是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支。

在过去几年里,注意力和记忆已经成为深度学习的两个重要的新组成部分。本讲座由DeepMind研究科学家Alex Graves讲授现在广泛使用的注意力机制,包括任何深度网络中的内隐注意力,以及离散和可区分的变体的显性注意力。然后讨论了具有外部记忆的网络,并解释了注意力是如何为他们提供选择性回忆的。它简要地回顾了Transformer,一种特别成功的注意力网络类型,最后看可变计算时间,这可以被视为一种形式的“注意力集中”。

地址:

https://ua-cam.com/video/AIiwuClvH6k/deepmind-x-ucl-deep-learning-lectures-8-12-attention-and-memory-in-deep-learning.html

Alex Graves在爱丁堡大学(University of Edinburgh)完成了理论物理学的理学学士学位,在剑桥大学(University of Cambridge)完成了数学的第三部分,在IDSIA与尤尔根·施米德胡贝尔(Jurgen Schmidhuber)一起完成了人工智能博士学位,之后在慕尼黑工业大学(technology University of Munich)和杰夫·辛顿(Geoff Hinton)一起完成了博士后学位。他现在是DeepMind的一名研究科学家。他的贡献包括用于序列标签的连接主义时态分类算法,随机梯度变分推理,神经图灵机/可微分神经计算机架构,以及用于强化学习的A2C算法。

关于讲座系列:

深度学习讲座系列是DeepMind与UCL人工智能中心之间的合作。在过去的十年中,深度学习已发展成为领先的人工智能范例,使我们能够以前所未有的准确性和规模从原始数据中学习复杂的功能。深度学习已应用于对象识别,语音识别,语音合成,预测,科学计算,控制等问题。由此产生的应用程序触及我们在医疗保健和医学研究,人机交互,通信,运输,保护,制造以及人类努力的许多其他领域中的所有生活。认识到这一巨大影响,深度学习的先驱获得了2019年图灵奖,这是计算机领域的最高荣誉。

在本系列讲座中,来自领先的AI研究实验室DeepMind的研究科学家针对深度学习中的一系列令人兴奋的主题进行了12次讲座,内容涵盖了通过围绕记忆,注意力和生成建模的先进思想来训练神经网络的基础知识,以及重要的 负责任的创新主题。

深度学习注意力与记忆机制

成为VIP会员查看完整内容
0
123

在过去的几年中,自然语言处理领域发生了许多巨大的变化。在这篇介绍性的演讲中,我们将简要讨论自然语言处理中最大的挑战是什么,然后深入探讨NLP中最重要的深度学习里程碑。我们将包括词嵌入,语言建模和机器翻译的递归神经网络,以及最近兴起的基于Transformer的模型。

Jiři Materna:他是一个机器学习专家。在完成博士学位后,他在Seznam担任研究主管。现在作为一个自由职业者提供机器学习解决方案和咨询。他是机器学习学院的创始人和讲师,也是布拉格国际机器学习会议的组织者。

成为VIP会员查看完整内容
0
57

主题: Differential Deep Learning on Graphs and its Applications

简介: 本教程研究了将微分方程理论引入深度学习方法(称为微分深度学习)的最新进展,并进一步拓宽了此类方法的视野,重点放在图形上。我们将证明,图的差分深度学习是在药物发现中建立复杂系统的结构和动力学模型以及生成分子图的有力工具。

嘉宾介绍: Chengxi Zang,博士后研究助理。2019年获清华大学博士学位,获清华大学优秀博士学位(前3%)。他自2019年2月加入康奈尔大学,在复杂社会和生物系统的数据驱动动力学建模方面做了大量工作。个人主页:http://www.calvinzang.com/index.html

成为VIP会员查看完整内容
0
25

报告主题: TensorFlow.js: Bringing machine learning to JavaScript

报告摘要: Java是世界上使用最广泛的编程语言,借助TensorFlow.js,可以将TensorFlow和机器学习的功能带入JavaScript应用程序。 Sandeep Gupta和Joseph Paul Cohen介绍了TensorFlow.js库,并展示了将机器学习与基于JavaScript的Web,移动和服务器端应用程序相结合的惊人可能性。

嘉宾介绍: Sandeep Gupta是Google的产品经理,他在其中帮助开发和推动TensorFlow(Google的开放源代码库和机器学习框架)的路线图,以支持机器学习应用程序和研究。 他的重点是改善TensorFlow的可用性并推动社区和企业的采用。 Sandeep对机器学习和AI如何以多种方式改变生活感到兴奋,他与Google团队和外部合作伙伴一起为所有人创建了强大的可扩展解决方案。 此前,Sandeep曾是GE Global Research的高级成像和分析研究与开发的技术领导者,特别侧重于医学成像和医疗分析。

Joseph Paul Cohen是Mila和蒙特利尔大学的Yoshua Bengio的博士后。 约瑟夫(Joseph)领导Mila的医学研究小组,致力于计算机视觉,基因组学和临床数据。 他拥有波士顿马萨诸塞大学的计算机科学和机器学习博士学位。 他的研究兴趣包括医疗保健,生物信息学,机器学习,计算机视觉,临时网络和网络安全。 约瑟夫获得了美国国家科学基金会研究生奖学金和IVADO博士后奖学金。 他是the Institute for Reproducible Research的所长,该研究所致力于利用技术改善科学研究过程。

成为VIP会员查看完整内容
0
3

题目: Multimodal Intelligence: Representation Learning, Information Fusion, and Applications

摘要: 自2010年以来,深度学习已经彻底改变了语音识别、图像识别和自然语言处理,每一项都涉及到输入信号中的单一模态。然而,人工智能中的许多应用都涉及到一种以上的模式。因此,研究跨多种模式的建模和学习这一更为困难和复杂的问题具有广泛的兴趣。本文对多模态智能的模型和学习方法进行了技术综述。视觉与自然语言的结合已成为计算机视觉和自然语言处理研究领域的一个重要课题。本文从学习多模态表示、多模态信号在不同层次的融合以及多模态应用三个新的角度,对多模态深度学习的最新研究成果进行了综合分析。在多模态表示学习中,我们回顾了嵌入的关键概念,它将多模态信号统一到同一向量空间中,从而实现跨模态信号处理。我们还回顾了为一般下游任务构造和学习的许多嵌入类型的特性。关于多模融合,本文着重介绍了用于集成特定任务的单模信号表示的特殊体系结构。在应用程序方面,涵盖了当前文献中广泛关注的选定领域,包括标题生成、文本到图像生成和可视化问题解答。我们相信,这项检讨有助于社区未来在新兴多模态情报领域的研究。

作者简介:

Zichao Yang (杨子超),他是芝加哥大学计算机科学系的博士生。他对机器学习、深度学习及其在计算机视觉、自然语言处理中的应用感兴趣。在到CMU之前,他获得了香港大学的硕士学位,上海交通大学的学士学位。他之前曾在谷歌DeepMind实习,与Chris Dyer和Phil Blunsom合作,MSR与He Xiaodong、Gao Jianfeng和Li Deng合作。 个人主页:http://www.cs.cmu.edu/~zichaoy/

Xiaodong He(何晓东)是华盛顿大学西雅图分校电气工程系的副教授。他也是微软研究中心的首席研究员,华盛顿州雷德蒙德。1996年获清华大学(北京)学士学位,1999年获中国科学院(北京)硕士学位,2003年获密苏里哥伦比亚大学博士学位。他的研究兴趣在于人工智能领域,包括深度学习、语音、自然语言、计算机视觉、信息检索和知识表示与管理。他撰写/合著了100多篇论文和一本书,并在ACL、CVPR、SIGIR、WWW、CIKM、NIPS、ICLR、IEEE TASLP、Proc上发表。IEEE、IEEE SPM等场馆。他和同事开发了MSR-NRC-SRI条目和MSR条目,分别在2008年NIST机器翻译评估和2011年IWSLT评估(中英文)中获得第一名,并开发了MSR图像字幕系统,在2015年的MS COCO字幕挑战赛中获得一等奖。他曾在多家IEEE期刊担任编辑职务,担任NAACL-HLT 2015地区主席,并在主要演讲和语言处理会议的组织委员会/项目委员会任职。他是IEEESLTC的当选成员,任期2015-2017年。他是IEEE高级成员,2016年IEEE西雅图分部主席。 个人主页:http://faculty.washington.edu/xiaohe/

Li Deng是一位经验丰富的首席执行官,在高科技行业有着丰富的工作经验。在人工智能、机器学习、数学建模、计算机科学、语音识别、自然语言处理、深度学习、神经网络、大数据分析、财务和统计建模等方面具有较强的技术、执行管理和业务开发专业技能。等

成为VIP会员查看完整内容
0
82

主题: Deep Learning Compiler

简介:

Apache TVM是一个用于Cpu、Gpu和专用加速器的开源深度学习编译器堆栈。它的目标是缩小以生产力为中心的深度学习框架和以性能或效率为中心的硬件后端之间的差距。在此次演讲中主要围绕AWS AI的深度学习编译器的项目展开,讲述了如何通过TVM使用预量化模型,完全从零开始添加新的操作或者是降低到现有继电器操作符的序列。

邀请嘉宾:

Yida Wang是亚马逊AWS AI团队的一名应用科学家。在加入Amazon之前,曾在Intel实验室的并行计算实验室担任研究科学家。Yida Wang在普林斯顿大学获得了计算机科学和神经科学博士学位。研究兴趣是高性能计算和大数据分析。目前的工作是优化深度学习模型对不同硬件架构的推理,例如Cpu, Gpu, TPUs。

成为VIP会员查看完整内容
0
26

主题:Deep Learning for Graphs: Models and Applications

摘要:图提供了多种类型的数据的通用表示,而深度学习在表示学习方面显示了巨大的能力。因此,用图连接深度学习提供了机会,使各种现实世界问题的通用解决方案成为可能。然而,传统的深度学习技术对常规网格数据(如图像和序列)具有破坏性,因此不能直接应用于图结构数据。因此,将这两个领域结合起来面临着巨大的挑战。在本教程中,我将全面概述图深度学习的最新进展,包括模型和应用。特别地,我将介绍一些基本概念,回顾最先进算法,并举例说明各种重要的应用。最后,我将通过讨论开放问题和挑战来总结本教程。

嘉宾简介:唐继良(Jiang Tang)自2016年秋季@起担任密歇根州立大学计算机科学与工程系的助理教授。在此之前,他是Yahoo Research的研究科学家,并于2015年从亚利桑那州立大学获得博士学位。他的研究兴趣包括社交计算,数据挖掘和机器学习及其在教育中的应用。他曾获得2019年NSF职业奖,2015年KDD最佳论文亚军和6项最佳论文奖,包括WSDM2018和KDD2016。他是会议组织者(例如KDD,WSDM和SDM)和期刊编辑(例如TKDD)。他的研究成果发表在高排名的期刊和顶级会议论文集上,获得了数千篇引文(Google学术搜索)和广泛的媒体报道。

PPT链接:https://pan.baidu.com/s/1TMv5YsQbwPcRzGy-BkY-bg

成为VIP会员查看完整内容
0
41

报告题目: Attention in Deep learning

摘要:

注意力是非参数模型在深度学习中的关键机制。可以说,这是深度学习模型最新进展的基础。除了在神经机器翻译中介绍,它还可以追溯到神经科学。并且可以说是通过LSTMs的门控或遗忘机制引入的。在过去的5年里,注意力一直是推动自然语言处理、计算机视觉、语音识别、图像合成、解决旅行推销员问题或强化学习等领域的技术发展的关键。本教程对各种注意事项提供了一个连贯的概述,让其亲身体验如何复制和应用注意力机制,并且更深入地了解潜在的理论,详细展示了从最早的NWE到最新的Multiple Attention Heads的相关内容。

报告主要分为六个部分:

  1. Watson Nadaraya Estimator(NWE):最早的非参数回归(Nonparametric Regression)的工具之一,更具体地说是最早核回归技术(Kernel Regression Technique)由Nadaraya和Watson两人同时于1964年独立的提出。
  2. 池化 Pooling
    • 单目标 - 从池化 pooling 到注意力池化 attention pooling
    • 层次结构 - 分层注意力网络 Hierarchical attention network
  3. 迭代池化 Iterative Pooling
    • 问答 Question answering / 记忆网络 memory networks
  4. 迭代池化与生成器 Iterative Pooling and Generation
    • 神经机器翻译
  5. 多头注意力网络 Multiple Attention Heads
    • Transformers / BERT
    • Lightweight, structured, sparse
  6. 资源

邀请嘉宾:

Alexander J. Smola是亚马逊网络服务总监,2016年7月,加入了亚马逊网络服务(Amazon Web Services),打造人工智能和机器学习工具。主要研究兴趣包括深度学习:特别是状态更新、不变性和统计测试的算法;算法的可伸缩性、统计建模。

Aston Zhang是亚马逊网络服务人工智能的一名应用科学家。他的研究兴趣是深度学习。他在伊利诺伊大学香槟分校获得了计算机科学博士学位。他曾担任大数据前沿的编委会成员和ICML、NeurIPS、WWW、KDD、SIGIR和WSDM的项目委员会成员(审稿人)。他的书《深入学习》(Dive into Deep Learning)于2019年春季在加州大学伯克利分校(UC Berkeley)教授,并已被全世界用作教科书。

成为VIP会员查看完整内容
0
53

题目: Safe Machine Learning

简介:

随着我们将ML应用到越来越多的现实任务中,我们正在走向一个ML将在未来社会中扮演越来越重要角色。因此,解决安全问题正成为一个日益紧迫的问题。一般来说,我们可以将当前的安全研究分为三个领域:规范、健壮性和保证。规范关注于调查和开发技术,以减轻由于目标仅仅是期望的替代者而可能出现的系统不期望的行为。这种情况可能会发生,例如,当对包含历史偏差的数据集进行训练时,或者在真实环境中尝试度量增强学习智能体的进度时鲁棒性处理在推断新数据和响应敌对输入时处理系统故障。

Assurance涉及到开发方法,使我们能够理解本质上不透明和黑箱的系统,并在操作期间控制它们。本教程将概述这三个领域,特别关注规范,更具体地说,关注增强学习智能体的公平性和一致性。其目的是激发从事不同安全领域的研究人员之间的讨论。

邀请嘉宾:

Silvia Chiappa是DeepMind机器学习方面的研究科学家。她拥有数学文凭和机器学习博士学位。在加入DeepMind之前,Silvia Chiappa曾在马克斯-普朗克智能系统研究所的经验推理部门、微软剑桥研究院的机器智能与感知小组以及剑桥大学的统计实验室工作。她的研究兴趣是基于贝叶斯和因果推理,图形模型,变分推理,时间序列模型,ML公平性和偏差。

Jan Leike是DeepMind的高级研究科学家,他在那里研究智能体对齐问题。他拥有澳大利亚国立大学的计算机科学博士学位,在那里他致力于理论强化学习。在加入DeepMind之前,他是牛津大学的博士后研究员。Jan的研究兴趣是人工智能安全、强化学习和技术人工智能治理。

成为VIP会员查看完整内容
0
14
小贴士
相关VIP内容
深度学习自然语言处理概述,116页ppt,Jiří Materna
专知会员服务
57+阅读 · 2020年3月10日
相关论文
Talking-Heads Attention
Noam Shazeer,Zhenzhong Lan,Youlong Cheng,Nan Ding,Le Hou
12+阅读 · 2020年3月5日
Yash Srivastava,Vaishnav Murali,Shiv Ram Dubey,Snehasis Mukherjee
4+阅读 · 2019年8月27日
Area Attention
Yang Li,Lukasz Kaiser,Samy Bengio,Si Si
4+阅读 · 2019年5月23日
Advances in Natural Language Question Answering: A Review
K. S. D. Ishwari,A. K. R. R. Aneeze,S. Sudheesan,H. J. D. A. Karunaratne,A. Nugaliyadde,Y. Mallawarrachchi
4+阅读 · 2019年4月10日
Ziwei Zhang,Peng Cui,Wenwu Zhu
40+阅读 · 2018年12月11日
Global-and-local attention networks for visual recognition
Drew Linsley,Dan Shiebler,Sven Eberhardt,Thomas Serre
5+阅读 · 2018年9月6日
Andreas Kamilaris,Francesc X. Prenafeta-Boldu
9+阅读 · 2018年7月31日
Seyed Sajad Mousavi,Michael Schukat,Enda Howley
12+阅读 · 2018年6月23日
Chiyuan Zhang,Oriol Vinyals,Remi Munos,Samy Bengio
7+阅读 · 2018年4月20日
Xin Wang,Yuan-Fang Wang,William Yang Wang
5+阅读 · 2018年4月15日
Top