课程介绍:

本课程介绍用于自然语言处理(NLP)的深度学习(DL)技术。与其他DL4NLP课程相反,我们将在一些讲座中对所有神经体系结构(例如CNN,RNN,注意力)进行一次旋风之旅。 然后,我们将在使用贝叶斯和马尔可夫网络学习结构化预测方面做出巨大的努力,并应用顺序标注,句法解析和句子生成。 在这个过程中,我们还将看到如何将这些传统方法与简单的神经网络相结合并加以改进。

主讲人:

Lili Mou博士是阿尔伯塔大学计算机科学系的助理教授。Lili分别于2012年和2017年在北京大学EECS学院获得了学士和博士学位。之后,他在滑铁卢大学(University of Waterloo)担任博士后,并在Adeptmind(加拿大多伦多的一家初创公司)担任研究科学家。他的研究兴趣包括应用于自然语言处理以及编程语言处理的深度学习。他在顶级会议和期刊上都有出版物,包括AAAI,ACL,CIKM,COLING,EMNLP,ICASSP,ICML,IJCAI,INTERSPEECH,NAACL-HLT和TACL(按字母顺序)。

课程大纲:

神经网络基础

  • 分类任务与分类器
  • 深度神经网络
  • Embedding
  • 结构化输入表示

结构化预测

  • 贝叶斯网络
  • 马尔科夫网络与条件随机场
  • 语法解析

句子生成

  • 变分自编码器
  • 抽样与随机搜索

离散空间

  • NLP中的强化学习
  • 强化学习的神经松弛
成为VIP会员查看完整内容
0
16

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

简介:

在这本书中,从机器学习基础开始,然后继续学习神经网络,深度学习,然后是卷积神经网络。在基础和应用的混合,在MATLAB深度学习这本书中使用MATLAB作为基础编程语言和工具进行案例研究。

有了这本书,你将能够解决当今现实世界中的一些大数据、智能机器人和其它复杂的数据问题。您将看到,对于现代智能数据分析和使用来说,深度学习是机器学习中多么复杂和智能的一个方面。

你将学习

  • 使用MATLAB进行深度学习
  • 发现神经网络和多层神经网络
  • 处理卷积和池化层
  • 使用这些层构建一个MNIST示例

作者:

Phil Kim博士是一位经验丰富的MATLAB程序员。他还研究来自人工智能的大型数据集的算法以及机器学习。他曾在韩国航空航天研究所担任高级研究员。在那里,他的主要任务是开发无人驾驶飞行器的自主飞行算法和机载软件。在攻读博士期间,他开发了一个名为“Clickey”的屏幕键盘程序。

成为VIP会员查看完整内容
0
53

课程名称: Introduction to Articial Intelligence

课程简介:

本课程主要讲述了人工智能相关知识,包括基本理论、练习和项目。

课程部分大纲:

  • 人工智能导论
  • 智能体
    • 教程:Python入门
  • 通过搜索来解决问题
    • 练习1:通过搜索来解决问题
    • 项目1:搜索算法
  • 约束满足问题
    • 练习2:约束满足问题
  • 游戏对抗性搜索
    • 练习3:游戏对抗性搜索
  • 表示不确定知识
    • 练习4:不确定性下的推理(第1部分)
  • 贝叶斯网络中的推论
    • 练习5:不确定性下的推理(第二部分)
  • 随时间推移的推理(第1部分)
  • 随时间推移的推理(第2部分)

讲师介绍:

Gilles Louppe是比利时列日大学人工智能和深度学习的副教授。他曾是纽约大学物理系和数据科学中心的博士后助理,与欧洲核子研究中心的阿特拉斯实验关系密切。他的研究处于机器学习、人工智能和物理科学的交叉点上,他目前的研究兴趣包括使用和设计新的机器学习算法,以新的和变革性的方式处理来自基础科学的数据驱动的问题。

下载索引:链接:https://pan.baidu.com/s/1aUGwQx3YUWLit3RfKNNDNw;提取码:c8lc

成为VIP会员查看完整内容
0
71

讲座题目

深层贝叶斯挖掘、学习与理解:Deep Bayesian Mining, Learning and Understanding

讲座简介

本教程介绍了自然语言的深度贝叶斯学习的进展,其应用广泛,从语音识别到文档摘要、文本分类、文本分割、信息提取、图像字幕生成、句子生成、对话控制、情感分类、推荐系统,问答和机器翻译,举几个例子。传统上,“深度学习”被认为是一种基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的单词、句子、实体、动作和文档中的“语义结构”在数学逻辑或计算机程序中可能没有得到很好的表达或正确的优化。自然语言离散或连续潜变量模型中的“分布函数”可能无法正确分解或估计。本教程介绍了统计模型和神经网络的基本原理,重点介绍了一系列先进的贝叶斯模型和深层模型,包括分层Dirichlet过程、中餐馆过程、分层Pitman-Yor过程、印度自助餐过程、递归神经网络、长时短期记忆,序列到序列模型,变分自动编码器,生成对抗网络,注意机制,记忆增强神经网络,跳跃神经网络,随机神经网络,预测状态神经网络,策略神经网络。我们将介绍这些模型是如何连接的,以及它们为什么在自然语言中的符号和复杂模式的各种应用中起作用。为了解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚类与语言和语义约束相结合。本文提出了一系列的案例研究,以解决深度贝叶斯挖掘、学习和理解中的不同问题。最后,我们将指出未来研究的一些方向和展望。

讲座嘉宾

Jen-Tzung Chien,詹增建于一九九七年获中华民国新竹国立清华大学电机工程博士学位。现任台湾新竹国立交通大学电机与电脑工程系及电脑科学系主任教授。2010年,他在纽约约克敦高地IBM T.J.沃森研究中心担任客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。

成为VIP会员查看完整内容
0
55

课程简介: 本课程将向学生介绍NLP的基础知识,涵盖处理自然语言的标准框架以及解决各种NLP问题的算法和技术,包括最新的深度学习方法。 涵盖的主题包括语言建模,表示学习,文本分类,序列标记,语法解析,机器翻译,问题解答等。

课程安排:

  • 概述与简介
  • 语言模型
  • 文本分类
  • 线性模型
  • 词嵌入
  • 神经网络基础
  • 序列模型
  • EM模型
  • RNN神经语言模型
  • 解析介绍
  • 机器翻译
  • 神经机器翻译
  • 文本词嵌入
  • 问答系统
  • 对话系统
  • 嘉宾讲座

嘉宾介绍:

陈丹琦,普林斯顿大学计算机科学的助理教授,在此之前,是西雅图Facebook AI Research(FAIR)的访问科学家。 斯坦福大学计算机科学系获得博士学位,并在斯坦福NLP集团工作。研究方向:自然语言处理,文本理解、知识解释。

Karthik Narasimhan,普林斯顿大学计算机科学系助理教授,研究跨越自然语言处理和强化学习。

成为VIP会员查看完整内容
0
71

主题: An Overview of the International Planning Competition

摘要: 本教程介绍了自然语言的深度贝叶斯和序列学习的进展,其应用广泛,从语音识别到文档摘要、文本分类、文本分割、信息提取、图片标题生成、句子生成、对话控制、情感分类,推荐系统,问答和机器翻译。传统上,“深度学习”被认为是一种基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的单词、句子、实体、动作和文档中的“语义结构”在数学逻辑或计算机程序中可能没有得到很好的表达或正确的优化。自然语言离散或连续潜变量模型中的“分布函数”在模型推理中可能无法正确分解或估计。本教程介绍了统计模型和神经网络的基本原理,重点介绍了一系列先进的贝叶斯模型和深层模型,包括分层Dirichlet过程、Chinese restaurant 过程、分层Pitman-Yor过程、Indian buffet过程、递归神经网络、长时短期记忆,序列到序列模型,变分自动编码,生成对抗网络,注意机制,记忆增强神经网络,随机神经网络,预测状态神经网络,策略梯度和强化学习。我们将介绍这些模型是如何连接的,以及它们为什么在自然语言中的符号和复杂模式的各种应用中起作用。为了解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚类与语言和语义约束相结合。本文提出了一系列的个案研究,以解决深度贝叶斯学习与理解中的不同问题。最后,我们将指出未来研究的一些方向和展望。

邀请嘉宾: Jen-Tzung Chien在台湾新竹国立清华大学取得电机工程博士学位。现任职于台湾新竹国立交通大学电子及电脑工程学系及电脑科学系讲座教授。2010年,他担任IBM沃森研究中心的客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。在2011年获得了IEEE自动语音识别和理解研讨会的最佳论文奖,并在2018年获得了AAPM Farrington Daniels奖。2015年,剑桥大学出版社出版《贝叶斯语音与语言处理》;2018年,学术出版社出版《源分离与机器学习》。他目前是IEEE信号处理技术委员会机器学习的当选成员。

成为VIP会员查看完整内容
0
58

教程题目:Deep Bayesian Natural Language Processing

教程简介

这个教学讲座将会介绍用于自然语言处理的深度贝叶斯学习的发展,以及它在语音识别、文本总结、文本分类、文本分割、信息提取、图像描述生成、句子生成、对话控制、情感分类、推荐系统、问答、机器翻译等等许多任务中的广泛应用。传统上,“深度学习”被认为是一个基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的词汇、句子、实体、动作和文档的“语义结构”在数学逻辑或计算机程序中可能不能很好地表达或正确地优化。自然语言的离散或连续潜在变量模型中的“分布函数”可能没有被正确分解或估计。

本教程介绍了统计模型和神经网络的基础知识,并将重点讲解一系列高级的贝叶斯模型以及深度模型。这些模型之间的联系、能在自然语言的许多符号化表示和复杂模式中发挥作用的原因也会得到介绍。我们将介绍这些模型是如何连接的,以及它们为什么适用于自然语言中符号和复杂模式的各种应用程序。

为解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚被语言和语义约束合并。提出了一系列的案例研究来解决深度贝叶斯学习和理解中的不同问题。最后,指出了一些未来研究的方向和展望。

组织者:

Jen-Tzung Chien在台湾新竹国立清华大学取得电机工程博士学位。现任职于台湾新竹国立交通大学电子及电脑工程学系及电脑科学系讲座教授。2010年,他担任IBM沃森研究中心的客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。在2011年获得了IEEE自动语音识别和理解研讨会的最佳论文奖,并在2018年获得了AAPM Farrington Daniels奖。2015年,剑桥大学出版社出版《贝叶斯语音与语言处理》;2018年,学术出版社出版《源分离与机器学习》。他目前是IEEE信号处理技术委员会机器学习的当选成员。

成为VIP会员查看完整内容
[2019] ACL tutorial-Deep Bayesian Natural Language Processing.pdf
0
41

课程名称: Deep Learning and Bayesian Methods

课程介绍: 在Deep|Bayes暑期学校,我们将讨论如何将Bayes方法与Deep Learning相结合,并在机器学习应用程序中带来更好的结果。 最近的研究证明,贝叶斯方法的使用可以通过各种方式带来好处。 学校参与者将学习对理解当前机器学习研究至关重要的方法和技术。 他们还将具有使用概率模型来构建神经生成和判别模型的动手经验,学习神经网络的现代随机优化方法和正则化技术,并掌握推理神经网络及其权重不确定性的方法,预测。

部分邀请嘉宾: Maurizio Filippone,AXA计算统计主席,EURECOM副教授

Novi Quadrianto,萨塞克斯大学助理教授

课程大纲:

  • 贝叶斯方法介绍
  • 贝叶斯推理
  • EM算法
  • 随机变分推理与变分自编码器
  • GAN
  • 高斯分布与贝叶斯优化
  • 贝叶斯神经网络
成为VIP会员查看完整内容
schedule-2019.pdf
0
48

报告题目: Discreteness in Neural Natural Language Processin

报告摘要: 本教程对神经NLP离散化过程提供了全面的介绍。首先,我们将简要介绍基于NLP的深度学习的背景,指出自然语言普遍存在的离散性及其在神经信息处理中的挑战。特别地,我们将集中在这样的离散性如何在一个神经网络的输入空间、潜在空间和输出空间中发挥作用。在每个部分中,我们将提供示例,讨论机器学习技术,并演示NLP应用程序。

*邀请嘉宾: Lili Mou博士是阿尔伯塔大学计算机科学系的助理教授。Lili分别于2012年和2017年在北京大学EECS学院获得了学士和博士学位。之后,他在滑铁卢大学(University of Waterloo)担任博士后,并在Adeptmind(加拿大多伦多的一家初创公司)担任研究科学家。他的研究兴趣包括应用于自然语言处理以及编程语言处理的深度学习。他在顶级会议和期刊上都有出版物,包括AAAI,ACL,CIKM,COLING,EMNLP,ICASSP,ICML,IJCAI,INTERSPEECH,NAACL-HLT和TACL(按字母顺序)。

周浩是Bytedance AI实验室的研究员 ,从事自然语言处理。2017年获得南京大学计算机科学博士学位。他的研究兴趣是机器学习及其在自然语言处理中的应用。目前,他专注于自然语言生成的深度生成模型。

李磊博士是今日头条的研究科学家和今日头条实验室的主任。Lei拥有上海交通大学计算机科学与工程学士学位(ACM类)和博士学位。分别从卡内基梅隆大学获得计算机科学博士学位。他的有关挖掘共同演化时间序列的快速算法的论文工作被ACM KDD授予最佳论文奖(排名提高)。在加入头条之前,他曾在百度的硅谷深度学习研究所担任首席研究科学家(“少帅学者”)。在此之前,他曾在Microsoft Research(亚洲和Redmond),Google(Mountain View)和IBM(TJ Watson Reserch Center)工作过。在加入百度之前,他曾在加州大学伯克利分校的EECS部门担任博士后研究员。他的研究兴趣在于深度学习,统计推断,自然语言理解和时间序列分析。他曾在ICML 2014,ECML / PKDD 2014/2015,SDM 2013/2014,IJCAI 2011/2013/2016,KDD 2015 / 2016、2017 KDD Cup联合主席的程序委员会中任职,并在2014年暑期学校担任讲师促进机器学习的概率编程研究。他发表了30多篇技术论文,并拥有3项美国专利。

成为VIP会员查看完整内容
0
24

主题:Deep Learning for Graphs: Models and Applications

摘要:图提供了多种类型的数据的通用表示,而深度学习在表示学习方面显示了巨大的能力。因此,用图连接深度学习提供了机会,使各种现实世界问题的通用解决方案成为可能。然而,传统的深度学习技术对常规网格数据(如图像和序列)具有破坏性,因此不能直接应用于图结构数据。因此,将这两个领域结合起来面临着巨大的挑战。在本教程中,我将全面概述图深度学习的最新进展,包括模型和应用。特别地,我将介绍一些基本概念,回顾最先进算法,并举例说明各种重要的应用。最后,我将通过讨论开放问题和挑战来总结本教程。

嘉宾简介:唐继良(Jiang Tang)自2016年秋季@起担任密歇根州立大学计算机科学与工程系的助理教授。在此之前,他是Yahoo Research的研究科学家,并于2015年从亚利桑那州立大学获得博士学位。他的研究兴趣包括社交计算,数据挖掘和机器学习及其在教育中的应用。他曾获得2019年NSF职业奖,2015年KDD最佳论文亚军和6项最佳论文奖,包括WSDM2018和KDD2016。他是会议组织者(例如KDD,WSDM和SDM)和期刊编辑(例如TKDD)。他的研究成果发表在高排名的期刊和顶级会议论文集上,获得了数千篇引文(Google学术搜索)和广泛的媒体报道。

PPT链接:https://pan.baidu.com/s/1TMv5YsQbwPcRzGy-BkY-bg

成为VIP会员查看完整内容
0
42

报告主题: Scalable Deep Learning: from theory to practice

简介:

人工智能的一个基本任务是学习。深度神经网络已被证明可以完美地应对所有的学习范式,即监督学习、非监督学习和强化学习。然而,传统的深度学习方法利用云计算设施不能很好地扩展到计算资源少的自主代理。即使在云计算中,它们也受到计算和内存的限制,不能用于为假定网络中有数十亿神经元的代理建立适当的大型物理世界模型。这些问题在过去几年通过可扩展和高效的深度学习的新兴主题得到了解决。本教程涵盖了这些主题,重点是理论进步、实际应用和实践经验,分为两部分。

  • 第一部分 -可扩展的深度学习:从修剪到演化。

    本教程的第一部分侧重于理论。首先修正目前有多少代理使用深度神经网络。然后介绍了神经网络的基本概念,并从功能和拓扑的角度将人工神经网络与生物神经网络进行了比较。我们接着介绍了90年代早期的第一篇关于高效神经网络的论文,这些论文使用稀疏执行或基于不同显著性标准的全连通网络的权值剪枝。然后,我们回顾了近年来一些从全连通网络出发,利用剪枝再训练循环压缩深度神经网络,使其在推理阶段更有效的工作。然后我们讨论另一种方法,即增强拓扑的神经进化及其后续,使用进化计算来增长有效的深度神经网络。

  • 第二部分:可扩展的深度学习:深度强化学习

    到目前为止,一切都是在监督和非监督学习的背景下讨论的。在此基础上,我们引入了深度强化学习,为可扩展的深度强化学习奠定了基础。我们描述了在深度强化学习领域的一些最新进展,这些进展可以用来提高强化学习主体在面对动态变化的环境时的性能,就像在能量系统中经常出现的情况一样。

邀请嘉宾:

Decebal Constantin Mocanu是埃因霍芬理工大学(TU/e)数学与计算机科学系数据挖掘组人工智能与机器学习助理教授(2017年9月至今),TU/e青年工程院院士。他的研究兴趣是利用网络科学、进化计算、优化和神经科学的原理,构想可扩展的深度人工神经网络模型及其相应的学习算法。

Elena Mocanu是特温特大学(University of Twente)数据科学小组的机器学习助理教授,也是艾恩德霍芬理工大学(Eindhoven University of Technology)的研究员。2013年10月,埃琳娜在德国理工大学开始了她在机器学习和智能电网方面的博士研究。2015年1月,她在丹麦技术大学进行了短暂的研究访问,2016年1月至4月,她是美国奥斯汀德克萨斯大学的访问研究员。2017年,埃琳娜在德国理工大学获得了机器学习和智能电网的哲学博士学位。

Damien Ernst目前在列日大学(University of Liege)担任全职教授。在列日大学获得硕士学位,博士后研究期间,由FNRS资助,在CMU、美国麻省理工学院和苏黎世联邦理工学院度过。他现在正在做能源和人工智能领域的研究。

成为VIP会员查看完整内容
0
13
小贴士
相关VIP内容
【课程推荐】人工智能导论:Introduction to Articial Intelligence
【课程推荐】普林斯顿陈丹琦COS 484: 自然语言处理课程
专知会员服务
71+阅读 · 2019年12月11日
相关论文
Ashutosh Adhikari,Achyudh Ram,Raphael Tang,Jimmy Lin
4+阅读 · 2019年8月22日
Kazuki Irie,Albert Zeyer,Ralf Schlüter,Hermann Ney
5+阅读 · 2019年7月11日
H. Ismail Fawaz,G. Forestier,J. Weber,L. Idoumghar,P. Muller
9+阅读 · 2019年3月14日
Accelerated Methods for Deep Reinforcement Learning
Adam Stooke,Pieter Abbeel
5+阅读 · 2019年1月10日
Catherine Wong,Neil Houlsby,Yifeng Lu,Andrea Gesmundo
4+阅读 · 2018年9月11日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Stock Chart Pattern recognition with Deep Learning
Marc Velay,Fabrice Daniel
4+阅读 · 2018年8月1日
Abhishek Gupta,Benjamin Eysenbach,Chelsea Finn,Sergey Levine
6+阅读 · 2018年6月12日
Yu-An Chung,Hung-Yi Lee,James Glass
4+阅读 · 2018年4月21日
Sahisnu Mazumder,Nianzu Ma,Bing Liu
6+阅读 · 2018年2月24日
Top