在人工智能、统计学、计算机系统、计算机视觉、自然语言处理和计算生物学等许多领域中,许多问题都可以被视为从局部信息中寻找一致的全局结论。概率图模型框架为这一范围广泛的问题提供了一个统一的视图,能够在具有大量属性和巨大数据集的问题中进行有效的推理、决策和学习。这门研究生水平的课程将为您在复杂问题中运用图模型中解决核心研究主题提供坚实的基础。本课程将涵盖三个方面: 核心表示,包括贝叶斯网络和马尔科夫网络,以及动态贝叶斯网络;概率推理算法,包括精确和近似; 以及图模型的参数和结构的学习方法。进入这门课程的学生应该预先具备概率、统计学和算法的工作知识,尽管这门课程的设计是为了让有较强数学背景的学生赶上并充分参与。希望通过本课程的学习,学生能够获得足够的实际应用的多变量概率建模和推理的工作知识,能够用通用模型在自己的领域内制定和解决广泛的问题。并且可以自己进入更专业的技术文献。

成为VIP会员查看完整内容
0
40

相关内容

概率图模型是图灵奖获得者Pearl开发出来的用图来表示变量概率依赖关系的理论。概率图模型理论分为概率图模型表示理论,概率图模型推理理论和概率图模型学习理论。

这新版本的教科书/参考提供了从工程的角度对概率图模型(PGMs)的介绍。它提供了关于马尔科夫决策过程、图模型和深度学习的新材料,以及更多的练习。

这本书涵盖了PGM的每个主要类的基础知识,包括表示、推理和学习原理,并回顾了每种类型的模型的实际应用。这些应用来自广泛的学科,突出了贝叶斯分类器、隐藏马尔可夫模型、贝叶斯网络、动态和时间贝叶斯网络、马尔可夫随机场、影响图和马尔可夫决策过程的许多使用。

概率图模型(PGMs)及其在不确定性下进行智能推理的应用出现于20世纪80年代的统计和人工智能推理领域。人工智能的不确定性(UAI)会议成为这一蓬勃发展的研究领域的首要论坛。20岁的时候,我在圣何塞的UAI-92大学第一次见到了恩里克·苏卡——我们都是研究生——在那里,他展示了他关于高层次视觉推理的关系和时间模型的研究成果。在过去的25年里,Enrique对我们的领域做出了令人印象深刻的研究贡献,从客观概率的基础工作,到开发时态和事件贝叶斯网络等高级形式的PGMS,再到PGMS的学习,例如,他的最新研究成果是用于多维分类的贝叶斯链分类器。

概率图模型作为一种强大而成熟的不确定性推理技术已被广泛接受。与早期专家系统中采用的一些特殊方法不同,PGM基于图和概率论的强大数学基础。它们可用于广泛的推理任务,包括预测、监测、诊断、风险评估和决策。在开源软件和商业软件中有许多有效的推理和学习算法。此外,它们的力量和功效已通过其成功应用于大量现实世界的问题领域而得到证明。Enrique Sucar是PGM作为实用和有用技术建立的主要贡献者,他的工作跨越了广泛的应用领域。这些领域包括医学、康复和护理、机器人和视觉、教育、可靠性分析以及从石油生产到发电厂的工业应用。

成为VIP会员查看完整内容
0
84

机器学习是一个令人兴奋的话题,关于设计可以从数据中学习的机器。本课程涵盖了机器学习的必要理论、原理和算法。这些方法是基于统计学和概率论的——它们现在已经成为设计显示人工智能的系统的必要条件。

https://cedar.buffalo.edu/~srihari/CSE574/

成为VIP会员查看完整内容
0
10

在过去的十年里,深度神经网络已经成为人工智能许多领域不可或缺的工具,包括计算机视觉、计算机图形学、自然语言处理、语音识别和机器人技术。本课程将介绍深度神经网络的理论与实践原理。在其他主题中,我们将涵盖计算图、激活函数、损失函数、训练、正则化和数据增强,以及各种基本和最先进的深度神经网络架构,包括卷积网络和图神经网络。该课程还将解决深度生成模型,如自动编码器,变分自动编码器和生成对抗网络。此外,在整个课程中,还将介绍来自不同领域的应用。本教程将通过在Python和PyTorch中实现和应用深度神经网络来加深对它们的理解。

https://uni-tuebingen.de/fakultaeten/mathematisch-naturwissenschaftliche-fakultaet/fachbereiche/informatik/lehrstuehle/autonomous-vision/lectures/deep-learning/

成为VIP会员查看完整内容
0
38

这是一门关于在不确定情况下强化学习(RL)和顺序决策的入门课程,重点在于理解理论基础。我们研究如何使用动态规划方法,如价值和策略迭代,来解决具有已知模型的顺序决策问题,以及如何扩展这些方法,以解决模型未知的强化学习问题。其他主题包括(但不限于)RL中的函数近似、策略梯度方法、基于模型的RL以及平衡探索-利用权衡。本课程将以讲座和阅读古典及近期论文的方式传授给学生。因为重点是理解基础,你应该期望通过数学细节和证明。本课程的要求背景包括熟悉概率论和统计、微积分、线性代数、最优化和(有监督的)机器学习。

https://amfarahmand.github.io/IntroRL/

目录内容:

  • Introduction to Reinforcement Learning
  • Structural Properties of Markov Decision Processes (Part I)
  • Structural Properties of Markov Decision Processes (Part II)
  • Planning with a Known Model
  • Learning from a Stream of Data (Part I)
  • Learning from a Stream of Data (Part II)
  • Value Function Approximation (Part I)
  • Value Function Approximation (Part II)
  • Value Function Approximation (Part III)
  • Value Function Approximation (Part IV)
  • Policy Gradient Methods
  • Model-based RL
  • Presentations

强化学习入门笔记

这是多伦多大学计算机科学系于2021年春季教授的强化学习(RL)研究生课程介绍的讲义。本课程是入门性的,因为它不需要预先接触强化学习。然而,它不仅仅是算法的集合。相反,它试图在RL中经常遇到的许多重要思想和概念背后建立数学直觉。在这些讲义的过程中,我证明了很多基础的,或者有时不那么基础的,RL的结果。如果某个结果的证明过于复杂,我就证明一个简化的版本。

强化学习(RL)既指一类问题,也指解决这类问题的一组计算方法。RL问题是指如何采取行动,使某些长期绩效的概念得到最大化。RL问题,从它的定义来看,是关于一个实体的行为和交互,我们称之为代理,与其周围的环境,我们称之为环境。这是一个非常普遍的目标。有人可能会说,解决AI问题等同于解决RL问题。强化学习也指解决RL问题的一套计算方法。一个代理需要做什么样的计算才能确保它的行为能够带来良好的(甚至是最佳的)长期性能?实现这些的方法称为RL方法。历史上,在所有试图解决RL问题的计算方法中,只有一个子集被称为RL方法。例如Q-Learning这样的方法(我们将在本课程中学习)是一种很好的RL方法,但是进化计算的方法,如遗传算法,则不是。人们可以争辩说,进化计算方法没有太多的“学习”成分,或者它们不以个体生命的时间尺度行事,而是以世代的时间尺度行事。虽然这些是真正的区别,但这种划分方式有些武断。在本课堂讲稿中,我们将重点放在“RL社区”中经常学习的方法上。

成为VIP会员查看完整内容
0
34

贝叶斯决策理论提供了一个统一的、直观的吸引人的方法,从观察中得出推论,并做出理性的、知情的决定。贝叶斯学派把统计推理看作是信念动力学中的一个问题,即使用有关现象的证据来修正和更新有关它的知识。贝叶斯统计是一种科学合理的方法,以整合知情的专家判断与经验数据。贝叶斯统计推断不能完全独立于将根据推断作出的决策的上下文来处理。近年来,贝叶斯方法在各种严重依赖数据的学科中变得越来越普遍。本课程向学生介绍贝叶斯理论和方法论,包括贝叶斯推理的现代计算方法。学生将学习贝叶斯方法和频率论方法在统计推断方面的共性和差异,如何从贝叶斯的角度来处理统计问题,以及如何将数据与专家判断以合理的方式结合起来,得出有用的和与政策相关的结论。学生将学习必要的理论,以发展一个坚定的理解何时和如何应用贝叶斯和频率论方法,并将学习实际程序,为现象发展统计模型,得出推论,并评估证据支持假设。本课程涵盖贝叶斯推理理论的基础知识,包括以概率表示信任程度,似然原理,使用贝叶斯规则修正基于证据的信念,共同统计模型的共轭先验分布,近似后验分布的马尔可夫链蒙特卡罗方法,贝叶斯层次模型,以及其他关键主题。引入图形模型来表示复杂的概率和决策问题,将它们指定为模块化组件。作业利用现代计算技术,并着重于将方法应用于实际问题。

http://seor.vse.gmu.edu/~klaskey/SYST664/SYST664.html

目录内容: Unit 1: A Brief Tour of Bayesian Inference and Decision Theory Unit 2: Random Variables, Parametric Models, and Inference from Observation Unit 3: Bayesian Inference with Conjugate Pairs: Single Parameter Models Unit 4: Introduction to Monte Carlo Approximation Unit 5: The Normal Model Unit 6: Gibbs Sampling Unit 7: Hierarchical Bayesian Models Unit 8: Bayesian Regression Unit 9: Conclusion: Multinomial Distribution and Latent Groups

成为VIP会员查看完整内容
0
21

以深度神经网络为代表的“深度学习”系统正越来越多地接管所有人工智能任务,从语言理解、语音和图像识别,到机器翻译、规划,甚至是游戏和自动驾驶。因此,在许多高级学术机构中,深度学习的专业知识正从深奥的要求迅速转变为强制性的先决条件,并成为工业就业市场的一大优势。

在本课程中,我们将学习深度神经网络的基础知识,以及它们在各种人工智能任务中的应用。在本课程结束时,预计学生将对这门学科非常熟悉,并能够将深度学习应用于各种任务。他们也将被定位去理解关于这个主题的许多当前的文献,并通过进一步的学习来扩展他们的知识。

如果你只对课程感兴趣,你可以在YouTube频道上观看。

https://deeplearning.cs.cmu.edu/F20/

成为VIP会员查看完整内容
0
49

现代人工智能(AI)系统通常需要在一个未知的、不确定的、可能敌对的环境中,通过积极地与环境交互来收集相关数据,从而做出连续的决策。强化学习(RL)是一个通用框架,可以捕获交互式学习设置,并已被用于设计智能代理,以实现超人水平的表现,在具有挑战性的任务,如围棋,电脑游戏,机器人操作。

这门研究生水平的课程着重于强化学习的理论和算法基础。本课程的四个主题为: (1)可证明有效的探索; (2)策略优化(特别是策略梯度); (3)控制; (4)模仿学习。

通过本课程,学生将能够理解经典的和最新的可证明正确的RL算法及其分析。学生将能够对与RL相关的课题进行研究。

成为VIP会员查看完整内容
0
47

【导读】卡内基梅隆大学(CMU),在2020年春季学习继续开设了由Eric P. Xing教授执教的经典课程《Probabilistic Graphical Models》(概率图模型)。这门课程从2005年开设至今,已经有十多个年头了。它影响了一代又一代计算机学者,为学界培养了大量机器学习人才。直到如今,概率图模型仍然是机器学习领域非常火热的方向,感兴趣的同学不要错过。

课程简介

在人工智能、统计学、计算机系统、计算机视觉、自然语言处理和计算生物学等许多其他领域中,许多问题都可以看作是从局部信息中寻找一致的全局结论。概率图模型框架为这一范围广泛的问题提供了统一的视角,支持对具有大量属性和庞大数据集的问题进行有效的推理、决策和学习。无论是应用图模型来解决复杂问题还是作为将图模型作为核心研究课题,本课程都能为你打下坚实基础。

邢波 Eric P. Xing 教授

Eric P.Xing是卡内基梅隆大学(Carnegie Mellon University)计算机科学教授,是2018年世界经济论坛(World Economic Forum)技术先驱公司Petuum Inc.的创始人、首席执行官和首席科学家,该公司为广泛和通用的工业人工智能应用构建标准化人工智能开发平台和操作系统。美国新泽西州立大学分子生物学与生物化学博士;美国加州大学伯克利分校(UC,Berkeley)计算机科学博士。主要研究兴趣集中在机器学习和统计学习方法论及理论的发展,和大规模计算系统和架构的开发,以解决在复杂系统中的高维、多峰和动态的潜在世界中的自动化学习、推理以及决策问题。目前或曾经担任《美国统计协会期刊》(JASA)、《应用统计年鉴》(AOAS)、《IEEE模式分析与机器智能学报》(PAMI)和《PLoS计算生物学杂志》(the PLoS JournalofComputational Biology)的副主编,《机器学习杂志》(MLJ)和《机器学习研究杂志》(JMLR)的执行主编,还是美国国防部高级研究计划署(DARPA)信息科学与技术顾问组成员,曾获得美国国家科学基金会(NSF)事业奖、Alfred P. Sloan学者奖、美国空军青年学者奖以及IBM开放协作研究学者奖等,以及多次论文奖。曾于2014年担任国际机器学习大会(ICML)主席。

http://www.cs.cmu.edu/~epxing/

课程信息:

成为VIP会员查看完整内容
0
75

课程介绍

在人工智能、统计学、计算机系统、计算机视觉、自然语言处理和计算生物学等许多领域中的问题,都可以被视为从局部信息中寻找一致的全局结论。概率图模型框架为这些普遍问题提供了统一的视角解决方案,支持在具有大量属性和庞大数据集的问题中进行有效的推理、决策和学习。本研究生课程将为您运用图模型到复杂的问题和解决图模型的核心研究课题提供坚实的基础。

课程大纲

  • 模块1 - 简介,表示形式和精确推断
  • 模块2 - 近似推断
  • 模块3 - 深度学习和生成模型
  • 模块4 - 通过GM中的推理进行强化学习和控制
  • 模块5 - 非参数方法
  • 模块6 - 模块化和可扩展的算法和系统

讲师:邢波

讲师简介

邢波,卡耐基梅隆大学教授,曾于2014年担任国际机器学习大会(ICML)主席。主要研究兴趣集中在机器学习和统计学习方法论及理论的发展,和大规模计算系统和架构的开发。他创办了Petuum 公司,这是一家专注于人工智能和机器学习的解决方案研发的公司,腾讯曾投资了这家公司。

个人主页

http://www.cs.cmu.edu/~epxing/

成为VIP会员查看完整内容
0
46
小贴士
相关论文
Yuqing Zhu,Yanzhe An,Yuan Zi,Yu Feng,Jianmin Wang
0+阅读 · 8月5日
Yuhua Zhu,Lexing Ying
0+阅读 · 8月4日
Multi-Domain Multi-Task Rehearsal for Lifelong Learning
Fan Lyu,Shuai Wang,Wei Feng,Zihan Ye,Fuyuan Hu,Song Wang
10+阅读 · 2020年12月14日
Zi-Yi Dou,Keyi Yu,Antonios Anastasopoulos
5+阅读 · 2019年8月27日
Hang Yan,Xipeng Qiu,Xuanjing Huang
4+阅读 · 2019年4月9日
Neural-Symbolic VQA: Disentangling Reasoning from Vision and Language Understanding
Kexin Yi,Jiajun Wu,Chuang Gan,Antonio Torralba,Pushmeet Kohli,Joshua B. Tenenbaum
4+阅读 · 2018年10月4日
Learning Blind Video Temporal Consistency
Wei-Sheng Lai,Jia-Bin Huang,Oliver Wang,Eli Shechtman,Ersin Yumer,Ming-Hsuan Yang
3+阅读 · 2018年8月1日
Xiaojun Xu,Xinyun Chen,Chang Liu,Anna Rohrbach,Trevor Darrell,Dawn Song
7+阅读 · 2018年4月6日
Top