构建能够从高维数据中提取有意义表示的智能机器是解决许多AI相关任务的核心。在过去的几年里，许多不同领域的研究人员，从应用统计学到工程学，计算机科学和神经科学，已经提发出深度(层次)模型——这些模型由多层非线性处理组成。这些模型的一个重要特性是，它们可以通过重用和组合中间概念来学习有用的表示，从而允许这些模型成功地应用于各种领域，包括视觉对象识别、信息检索、自然语言处理和语音感知。这是一门高级研究生课程，专为硕士和博士水平的学生设计，并将假定一个合理的数学成熟度。本课程的目标是向学生介绍各种深度学习方法的最新和令人兴奋的发展。
本课程涵盖了深度学习的一些理论和方法。所涉及的初步专题包括:
介绍
- 背景:线性代数，分布，概率规则。
- 回归、分类。
- 前馈神经网络，反向传播算法。介绍流行的优化和正则化技术。
- 卷积模型及其在计算机视觉中的应用。
深度学习
- 图模型:有向和无向。
- 线性因子模型，PPCA, FA, ICA，稀疏编码及其扩展。
- 自动编码器及其扩展。基于能量的模型, RBM。
- 蒙特卡罗方法。
- 学习与推理: 对比发散(CD)，随机最大似然估计，分数匹配，比率匹配，伪似然估计，噪声-对比估计。
- 退火重要性抽样，分区函数估计。
- 深度生成模型: 深度信念网络，深度玻尔兹曼机，Helmholtz霍兹机，变分自编码器，重要性加权自编码器，唤醒-睡眠算法。
- 生成对抗网络(GANs)，生成矩匹配网络，神经自回归密度估计(NADE)。
额外的话题
- 更多关于深度网络正则化和优化的内容。
- 序列建模: 循环神经网络。序列到序列的架构，注意力模型。
- 深度强化学习。
成为VIP会员查看完整内容
Introduction to Machine Learning, Regression
Continue Introduction to Machine Learning, Regression.
Neural Networks I
Neural Networks II
Convolutional Neural Networks I
Convolutional Neural Networks II Start Graphical Models
Graphical Models, Undirected Graphs /RBMs
Restricted Boltzmann Machine
Deep Belief Networks
Autoencoders
Guest Lecture: Graph Neural Networks
Language Modeling.
Sequence to Sequence Models, Part 1
Sequence to Sequence Models, Part 2
Variational Inference
Variational Autoencoder
Markov Chain Monte Carlo
Deep Boltzmann Machines
Generative Adversarial Networks Normalizing Flows
相关内容
Ruslan Salakhutdinov，卡内基梅隆大学教授，苹果首任AI总监，加拿大统计机器学习研究主席，微软学者和斯隆奖获得者，主要研究领域为深度学习概率图模型和大规模优化，师从Geoffrey Hinton，是剪枝、深度编码等著名学习方法的提出者。他于2009年获得多伦多大学的博士学位，随后又在麻省理工大学开展了为期两年的博士后研究。2016年，入职卡内基梅隆大学，同年获得英伟达人工智能先驱奖，并加入苹果公司担任AI研究总监。目前Ruslan已累计发表学术论文300多篇，是深度学习领域年轻一代领军科学家，主要的研究方向为：语音识别、计算机视觉、推荐系统、语言理解、药物研发及生物图像分析。
Arxiv
0+阅读 · 2022年4月18日
Arxiv
0+阅读 · 2022年4月18日
Arxiv
0+阅读 · 2022年4月18日
相关VIP内容
相关资讯
相关论文
Arxiv
0+阅读 · 2022年4月18日
Arxiv
0+阅读 · 2022年4月18日
Arxiv
0+阅读 · 2022年4月18日
微信扫码咨询专知VIP会员