CMU 邢波教授2019春季《概率图模型》课程开讲,带你学习PGM(含讲义PPT及视频)

2019 年 1 月 25 日 专知
CMU 邢波教授2019春季《概率图模型》课程开讲,带你学习PGM(含讲义PPT及视频)

【导读】如何在不确定性情况下进行推理,是很多应用面临的问题。卡内基梅隆大学邢波老师一直从事概率图模型的研究,最近他新设2019年新的《概率图模型》(Probabilistic Graphical Models)课程,是系统性学习PGM 非常好的资料。

https://sailinglab.github.io/pgm-spring-2019/


授课老师




邢波(Eric Xing)是卡耐基梅隆大学教授,曾于2014年担任国际机器学习大会(ICML)主席。主要研究兴趣集中在机器学习和统计学习方法论及理论的发展,和大规模计算系统和架构的开发。他创办了Petuum 公司,这是一家专注于人工智能和机器学习的解决方案研发的公司,腾讯曾投资了这家公司。

个人主页:  http://www.cs.cmu.edu/~epxing/


概率图模型


课程简介

在人工智能、统计学、计算机系统、计算机视觉、自然语言处理和计算生物学等许多领域中的问题,都可以被视为从局部信息中寻找一致的全局结论。概率图模型框架为这些普遍问题提供了统一的视角解决方案,支持在具有大量属性和庞大数据集的问题中进行有效的推理、决策和学习。本研究生课程将为您运用图模型到复杂的问题和解决图模型的核心研究课题提供坚实的基础

课程目录

Module 1: Introduction, Representation, and Exact Inference

  • Introduction to GM 

  • Representation: Directed GMs (BNs) 

  • Representation: Undirected GMs (MRFs) 

  • Exact inference 
    - Elimination 
    - Message passing 
    - Sum product algorith

  • Parameter learning in fully observable Bayesian Networks 
    - Generalized Linear Models (GLIMs) 
    - Maximum Likelihood Estimation (MLE) 
    - Markov Models

  • Parameter Learning of partially observed BN 
    - Mixture models 
    - Hidden Markov Models (HMMs) 
    - The EM algorithm 

  • Parameter learning in fully observable Markov networks (CRF) 

  • Causal discovery and inference 

  • Gaussian graphical models, Ising model, Modeling networks 

  • Sequential models 
    - Discrete Hidden State (HMM vs. CRF) 
    - Continuous Hidden State (Kalman Filter) 

Module 2: Approximate Inference

  • Approximate Inference: Mean Field (MF) and loopy Belief Propagation (BP) approximations 

  • Theory of Variational Inference: Inner and Outer Approximations 

  • Approximate Inference: Monte Carlo and Sequential Monte Carlo methods 

  • Markov Chain Monte Carlo 
    - Metropolis-Hastings 
    - Hamiltonian Monte Carlo 
    - Langevin Dynamics 


    Module 3: Deep Learning & Generative Models

  • Statistical and Algorithmic Foundations of Deep Learning 
    - Insight into DL 
    - Connections to GM 

  • Building blocks of DL 
    - RNN and LSTM 
    - CNN, Transformers 
    - Attention mechanisms 
    - (Case studies in NLP) 

  • Deep generative models (part 1): 
    Overview of advances and theoretical basis of deep generative models
     
    - Wake sleep algorithm 
    - Variational autoencoders 
    - Generative adversarial networks 

  • Deep generative models (part 2) 
    - Variational Autoencoders (VAE) 
    - Normalizing Flows 
    - Inverse Autoregressive Flows 
    - GANs and Implicit Models 

  • A unified view of deep generative models
    - New formulations of deep generative models 
    - Symmetric modeling of latent and visible variables 
    - Evaluation of Deep Generative Models


Module 4: Reinforcement Learning & Control Through Inference in GM

  • Sequential decision making (part 1): The framework 
    - Brief introduction to reinforcement learning (RL) 
    - Connections to GM: RL and control as inference 

  • Sequential decision making (part 2): The algorithms 
    - Maximum entropy RL and inverse RL 
    - Max-entropy policy gradient algorithms 
    - Soft Q-learning algorithms 
    - Some open questions/challenges 
    - Applications/case studies (games, robotics, etc.) 



Module 5: Nonparametric methods

  • Bayesian non-parameterics 
    - Dirichlet process (DP) 
    - Hierarchical Dirichlet Process (HDP) 
    - Chinese Restaurant Process (CRP) 
    - Indian Buffet Process (IBP) 

  • Gaussian processes (GPs) and elements of meta-learning 
    - GPs and (deep) kernel learning 
    - Meta-learning formulation as learning a process 
    - Hypernetworks and contextual networks 
    - Neural processes (NPs) as an approximation to GPs 

  • Regularized Bayesian GMs (structured sparsiry, diversity, etc.) 

  • Elements of Spectral & Kernel GMs 

    Module 6: Modular and scalable algorithms and systems

  • Automated black-box variational inference and elements of probabilistic programming 

  • Scalable algorithms and systems for learning, inference, and prediction 

  • Industialization of AI: standards, modules, building-blocks, and platform 



附录第一章

【讲义下载】

 请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“PGM2019” 就可以获取本文的下载链接~ 

  • 专知《深度学习:算法到实战》2019年全部完成欢迎扫码报名学习!





-END-

专 · 知

专知《深度学习:算法到实战》课程全部完成!465位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!


请加专知小助手微信(扫一扫如下二维码添加),咨询《深度学习:算法到实战》参团限时优惠报名~

欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询!

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
42

相关内容

概率图模型是图灵奖获得者Pearl开发出来的用图来表示变量概率依赖关系的理论。概率图模型理论分为概率图模型表示理论,概率图模型推理理论和概率图模型学习理论。

【导读】卡内基梅隆大学(CMU),在2020年春季学习继续开设了由Eric P. Xing教授执教的经典课程《Probabilistic Graphical Models》(概率图模型)。这门课程从2005年开设至今,已经有十多个年头了。它影响了一代又一代计算机学者,为学界培养了大量机器学习人才。直到如今,概率图模型仍然是机器学习领域非常火热的方向,感兴趣的同学不要错过。

课程简介

在人工智能、统计学、计算机系统、计算机视觉、自然语言处理和计算生物学等许多其他领域中,许多问题都可以看作是从局部信息中寻找一致的全局结论。概率图模型框架为这一范围广泛的问题提供了统一的视角,支持对具有大量属性和庞大数据集的问题进行有效的推理、决策和学习。无论是应用图模型来解决复杂问题还是作为将图模型作为核心研究课题,本课程都能为你打下坚实基础。

邢波 Eric P. Xing 教授

Eric P.Xing是卡内基梅隆大学(Carnegie Mellon University)计算机科学教授,是2018年世界经济论坛(World Economic Forum)技术先驱公司Petuum Inc.的创始人、首席执行官和首席科学家,该公司为广泛和通用的工业人工智能应用构建标准化人工智能开发平台和操作系统。美国新泽西州立大学分子生物学与生物化学博士;美国加州大学伯克利分校(UC,Berkeley)计算机科学博士。主要研究兴趣集中在机器学习和统计学习方法论及理论的发展,和大规模计算系统和架构的开发,以解决在复杂系统中的高维、多峰和动态的潜在世界中的自动化学习、推理以及决策问题。目前或曾经担任《美国统计协会期刊》(JASA)、《应用统计年鉴》(AOAS)、《IEEE模式分析与机器智能学报》(PAMI)和《PLoS计算生物学杂志》(the PLoS JournalofComputational Biology)的副主编,《机器学习杂志》(MLJ)和《机器学习研究杂志》(JMLR)的执行主编,还是美国国防部高级研究计划署(DARPA)信息科学与技术顾问组成员,曾获得美国国家科学基金会(NSF)事业奖、Alfred P. Sloan学者奖、美国空军青年学者奖以及IBM开放协作研究学者奖等,以及多次论文奖。曾于2014年担任国际机器学习大会(ICML)主席。

http://www.cs.cmu.edu/~epxing/

课程信息:

成为VIP会员查看完整内容
0
75

【导读】2020新年伊始,多伦多大学Amir-massoud Farahmand和Emad A. M. Andrews博士开设了机器学习导论课程,介绍了机器学习的主要概念和思想,并概述了许多常用的机器学习算法。它还可以作为更高级的ML课程的基础。

课程地址:

https://amfarahmand.github.io/csc311/

机器学习(ML)是一组技术,它允许计算机从数据和经验中学习,而不需要人工指定所需的行为。ML在人工智能作为一个学术领域和工业领域都变得越来越重要。本课程介绍了机器学习的主要概念和思想,并概述了许多常用的机器学习算法。它还可以作为更高级的ML课程的基础。

本课程结束时,学生将学习(大致分类)

  • 机器学习问题:监督(回归和分类),非监督(聚类,降维),强化学习

  • 模型:线性和非线性(基扩展和神经网络)

  • 损失函数:平方损失、交叉熵、铰链、指数等。

  • Regularizers: l1和l2

  • 概率观点:最大似然估计,最大后验,贝叶斯推理

  • 偏差和方差的权衡

  • 集成方法:Bagging 和 Boosting

  • ML中的优化技术: 梯度下降法和随机梯度下降法

课程目录:

参考资料:

(ESL) Trevor Hastie, Robert Tibshirani, and Jerome Friedman, The Elements of Statistical Learning, 2009.

(PRML) Christopher M. Bishop, Pattern Recognition and Machine Learning, 2006.

(RL) Richard S. Sutton and Andrew G. Barto Reinforcement Learning: An Introduction, 2018.

(DL) Ian Goodfellow, Yoshua Bengio and Aaron Courville (2016), Deep Learning

(MLPP) Kevin P. Murphy, Machine Learning: A Probabilistic Perspective, 2013.

(ISL) Gareth James, Daniela Witten, Trevor Hastie, and Robert Tibshirani, Introduction to Statistical Learning, 2017.

() Shai Shalev-Shwartz and Shai Ben-David Understanding Machine Learning: From Theory to Algorithms, 2014.

(ITIL) David MacKay, Information Theory, Inference, and Learning Algorithms, 2003.

成为VIP会员查看完整内容
0
35

课程介绍

在人工智能、统计学、计算机系统、计算机视觉、自然语言处理和计算生物学等许多领域中的问题,都可以被视为从局部信息中寻找一致的全局结论。概率图模型框架为这些普遍问题提供了统一的视角解决方案,支持在具有大量属性和庞大数据集的问题中进行有效的推理、决策和学习。本研究生课程将为您运用图模型到复杂的问题和解决图模型的核心研究课题提供坚实的基础。

课程大纲

  • 模块1 - 简介,表示形式和精确推断
  • 模块2 - 近似推断
  • 模块3 - 深度学习和生成模型
  • 模块4 - 通过GM中的推理进行强化学习和控制
  • 模块5 - 非参数方法
  • 模块6 - 模块化和可扩展的算法和系统

讲师:邢波

讲师简介

邢波,卡耐基梅隆大学教授,曾于2014年担任国际机器学习大会(ICML)主席。主要研究兴趣集中在机器学习和统计学习方法论及理论的发展,和大规模计算系统和架构的开发。他创办了Petuum 公司,这是一家专注于人工智能和机器学习的解决方案研发的公司,腾讯曾投资了这家公司。

个人主页

http://www.cs.cmu.edu/~epxing/

成为VIP会员查看完整内容
0
46

普林斯顿大学在19年春季学期,开设了COS 598D《机器学习优化》课程,课程主要介绍机器学习中出现的优化问题,以及解决这些问题的有效算法。前不久,课程教授Elad Hazan将其精心准备的课程讲义开放了出来,讲义内容详实循序渐进,非常适合想要入门机器学习的同学阅读。

COS 598D:Optimization for Machine Learning(机器学习优化)是普林斯顿大学在19年春季学期开设的课程。课程主要介绍机器学习中出现的优化问题,以及解决这些问题的有效算法。

课程内容涵盖:

  • Introduction to convex analysis
  • first-order methods, convergence analysis
  • generalization and regret minimization
  • regularization
  • gradient descent++:
    • acceleration
    • variance reduction
    • adaptive preconditioning
  • 2nd order methods in linear time
  • projection-free methods and the Frank-Wolfe algorithm
  • zero-order optimization, convex bandit optimization
  • optimization for deep learning: large scale non-convex optimization
成为VIP会员查看完整内容
0
55
小贴士
相关VIP内容
相关论文
Inferred successor maps for better transfer learning
Tamas J. Madarasz
3+阅读 · 2019年7月2日
Conditional BERT Contextual Augmentation
Xing Wu,Shangwen Lv,Liangjun Zang,Jizhong Han,Songlin Hu
8+阅读 · 2018年12月17日
A General and Adaptive Robust Loss Function
Jonathan T. Barron
7+阅读 · 2018年11月5日
Jacob Devlin,Ming-Wei Chang,Kenton Lee,Kristina Toutanova
11+阅读 · 2018年10月11日
Ricky T. Q. Chen,Yulia Rubanova,Jesse Bettencourt,David Duvenaud
5+阅读 · 2018年10月3日
Jack Baker,Paul Fearnhead,Emily B Fox,Christopher Nemeth
3+阅读 · 2018年6月19日
KiJung Yoon,Renjie Liao,Yuwen Xiong,Lisa Zhang,Ethan Fetaya,Raquel Urtasun,Richard Zemel,Xaq Pitkow
3+阅读 · 2018年5月25日
Jian Liu,Naveed Akhtar,Ajmal Mian
3+阅读 · 2018年5月1日
Aleksandar Bojchevski,Stephan Günnemann
5+阅读 · 2018年2月27日
Mohammad Mehdi Keikha,Maseud Rahgozar,Masoud Asadpour
3+阅读 · 2018年2月19日
Top