生成式模型是以图模型和概率编程语言中的概率推理的重要范式。神经网络对这些模型的参数化和基于梯度的随机优化技术的进步使得高维数据的可扩展建模成为可能。

本教程的前半部分将全面回顾深度生成模型的主要家族,包括生成对抗网络、变分自编码器、标准化流和自回归模型。对于每一个模型,我们将讨论概率公式,学习算法,以及与其他模型的关系。本教程的后半部分将演示在科学发现中使用深度生成模型的方法,例如材料和药物发现、压缩感知等等。最后,我们将讨论该领域目前的挑战和未来研究的前景。

https://dl4sci-school.lbl.gov/agenda

成为VIP会员查看完整内容
0
30

相关内容

在过去的十年中,生成式对抗网络已经成为人工智能领域的一个流行组成部分。在本次演讲中,我们将以一个关于GANs如何工作的简短教程开始,以及在设计GAN架构时涉及的各种考虑事项。然后,我们将继续讨论一些更流行的GAN架构,并从不同的角度进行讨论,包括可解释性和伦理。最后,我们将讨论关于使用GANs的最新进展,包括处理现实世界的问题。

成为VIP会员查看完整内容
0
36

本文推荐来自Krikamol Muandet博士讲述《概率分布的希尔伯特空间表示》,136页ppt系统性讲述了希尔伯特空间表示基础知识和最新进展,非常干货。

概率分布的希尔伯特空间表示的最新进展

概率分布的希尔伯特空间嵌入最近出现了作为一个强大的机器学习和统计推断工具。在本教程中,我将介绍分布的希尔伯特空间嵌入的概念,以及它在机器学习、统计推理、因果推理和计量经济学中的最新应用。本教程的第一部分将重点了解可以概括特征图的数据点分布的概率分布和这个新的表示允许我们建立强大的算法,如最大平均差异(MMD), Hilbert-Schmidt独立标准(仿人智能控制),和支持测量机(多发性骨髓瘤)。在第二部分,我将解释如何推广这个概念来表示条件分布。条件分布的嵌入扩展了希尔伯特空间嵌入建模更复杂的依赖的能力,在各种应用,如动力系统,马尔可夫决策过程,强化学习,潜在变量模型,核贝叶斯规则,因果推理。在本教程的最后,我将讨论这一研究领域的最新进展,并强调未来可能的研究方向。

成为VIP会员查看完整内容
0
44

生成对抗网络(GANs)是近年来受到广泛关注的一类新型的深度生成模型。GANs通过图像、音频和数据隐式地学习复杂的高维分布。然而,在GANs的训练中存在着主要的挑战。由于网络结构设计不当,使用目标函数和选择优化算法,导致模式崩溃,不收敛和不稳定。最近,为了解决这些挑战,一些更好地设计和优化GANs的解决方案已经被研究,基于重新设计的网络结构、新的目标函数和替代优化算法的技术。据我们所知,目前还没有一项综述特别侧重于这些解决办法的广泛和系统的发展。在这项研究中,我们进行了一个全面的综述,在GANs的设计和优化解决方案提出,以处理GANs的挑战。我们首先确定每个设计和优化技术中的关键研究问题,然后根据关键研究问题提出新的分类结构解决方案。根据分类,我们将详细讨论每个解决方案中提出的不同GANs变体及其关系。最后,在已有研究成果的基础上,提出了这一快速发展领域的研究方向。

https://arxiv.org/abs/2005.00065

概述

深度生成模型(DGMs),如受限玻尔兹曼机(RBMs)、深度信念网络(DBNs)、深度玻尔兹曼机(DBMs)、去噪自编码器(DAE)和生成随机网络(GSN),最近因捕获音频、图像或视频等丰富的底层分布和合成新样本而引起了广泛关注。这些深度生成模型采用基于马尔科夫链蒙特卡罗(MCMC)的[1][2]算法进行建模。基于MCMC的方法计算训练过程中梯度消失的对数似然梯度。这是由马尔科夫链产生的样本生成慢的主要原因,因为它不能足够快地在模式间混合。另一个生成模型,变分自动编码器(VAE),使用带有统计推理的深度学习来表示潜在空间[3]中的一个数据点,并在难以处理的概率计算的近似过程中体验复杂性。此外,这些生成模型是通过最大化训练数据可能性来训练的,其中基于概率的方法在许多数据集(如图像、视频)中经历了维数的诅咒。此外,在高维空间中,从马尔可夫链进行的采样是模糊的,计算速度慢且不准确。

为了解决上述问题,Goodfellow等人提出了生成对抗网(GANs),这是生成模型的另一种训练方法。GANs是一种新颖的深度生成模型,它利用反向传播来进行训练,以规避与MCMC训练相关的问题。GANs训练是生成模型和判别模型之间的极小极大零和博弈。GANs最近在生成逼真图像方面得到了广泛的关注,因为它避免了与最大似然学习[5]相关的困难。图1显示了GANs能力从2014年到2018年的一个进展示例。

GANs是一种结构化的概率模型,它由两个对立的模型组成:生成模型(Generator (G))用于捕获数据分布; 判别模型(Discriminator (D))用于估计生成数据的概率,以确定生成的数据是来自真实的数据分布,还是来自G的分布。D和G使用基于梯度的优化技术(同时梯度下降)玩一个两人极小极大对策,直到纳什均衡。G可以从真实分布中生成采样后的图像,而D无法区分这两组图像。为了更新G和D,由D通过计算两个分布之间的差异而产生的损失来接收梯度信号。我们可以说,GANs设计和优化的三个主要组成部分如下:(i) 网络结构,(ii) 目标(损失)函数,(iii)优化算法。

对多模态数据建模的任务,一个特定的输入可以与几个不同的正确和可接受的答案相关联。图2显示了具有多个自然图像流形(红色)的插图,结果由使用均方误差(MSE)的基本机器学习模型实现,该模型在像素空间(即,导致图像模糊)和GANs所获得的结果,从而驱动重构向自然图像流形方向发展。由于GANs的这一优势,它在许多领域得到了广泛的关注和应用。

GANs在一些实际任务中表现良好,例如图像生成[8][9]、视频生成[11]、域自适应[12]和图像超分辨率[10]等。传统的GANs虽然在很多方面都取得了成功,但是由于D和G训练的不平衡,使得GANs在训练中非常不稳定。D利用迅速饱和的逻辑损失。另外,如果D可以很容易的区分出真假图像,那么D的梯度就会消失,当D不能提供梯度时,G就会停止更新。近年来,对于模式崩溃问题的处理有了许多改进,因为G产生的样本基于少数模式,而不是整个数据空间。另一方面,引入了几个目标(损失)函数来最小化与传统GANs公式的差异。最后,提出了几种稳定训练的方法。

近年来,GANs在自然图像的制作方面取得了突出的成绩。然而,在GANs的训练中存在着主要的挑战。由于网络结构设计不当,使用目标函数和选择优化算法,导致模式崩溃,不收敛和不稳定。最近,为了解决这些挑战,一些更好地设计和优化GANs的解决方案已经被研究,基于重新设计的网络结构、新的目标函数和替代优化算法的技术。为了研究以连续一致的方式处理GANs挑战的GANs设计和优化解决方案,本综述提出了不同GANs解决方案的新分类。我们定义了分类法和子类寻址来构造当前最有前途的GANs研究领域的工作。通过将提出的GANs设计和优化方案分类,我们对其进行了系统的分析和讨论。我们还概述了可供研究人员进一步研究的主要未决问题。

本文贡献:

  • GAN新分类法。在本研究中,我们确定了每个设计和优化技术中的关键研究问题,并提出了一种新的分类法,根据关键研究问题来构造解决方案。我们提出的分类将有助于研究人员增强对当前处理GANs挑战的发展和未来研究方向的理解。

  • GAN全面的调研。根据分类法,我们提供了对各种解决方案的全面审查,以解决GANs面临的主要挑战。对于每一种类型的解决方案,我们都提供了GANs变体及其关系的详细描述和系统分析。但是,由于广泛的GANs应用,不同的GANs变体以不同的方式被制定、训练和评估,并且这些GANs之间的直接比较是复杂的。为此,我们进行了必要的比较,总结了相应的方法。他们提出了解决GANs挑战的新方案。这个调查可以作为了解、使用和开发各种实际应用程序的不同GANs方法的指南。

成为VIP会员查看完整内容
0
160

台湾交通大学的Jen-Tzung Chien教授在WSDN 2020会议上通过教程《Deep Bayesian Data Mining》介绍了深度贝叶斯数据挖掘的相关知识,涵盖了贝叶斯学习、深度序列学习、深度贝叶斯挖掘和学习等内容。

Jen-Tzung Chien教授在WSDM 2020的教程《Deep Bayesian Data Mining》(《深度贝叶斯数据挖掘》)介绍了面向自然语言的深度贝叶斯挖掘和学习,包括了它的基础知识和进展,以及它无处不在的应用,这些应用包括语音识别、文档摘要、文本分类、文本分割、信息抽取、图像描述生成、句子生成、对话控制、情感分类、推荐系统、自动问答和机器翻译等。

从传统上,“深度学习”被认为是一个学习过程,过程中的推断和优化都使用基于实数的判别模型。然而,从大量语料中提取出的词汇、句子、实体、行为和文档的“语义结构”在数学逻辑或计算机程序中可能不能很好地被这种方式表达或正确地优化。自然语言的离散或连续潜在变量模型中的“分布函数”可能不能被正确分解或估计。

该教程介绍了统计模型和神经网络的基础,并聚焦于一系列先进的贝叶斯模型和深度模型,包括层次狄利克雷过程、中国餐馆过程、递归神经网络、长短期记忆网络、序列到序列模型、变分自编码器、生成式对抗网络、策略神经网络等。教程还介绍了增强的先验/后验表示。教程展示了这些模型是如何连接的,以及它们为什么适用于自然语言中面向符号和复杂模式的各种应用程序。

变分推断和采样被提出解决解决复杂模型的优化问题。词和句子的嵌入、聚类和联合聚类被语言和语义约束合并。针对深度贝叶斯挖掘、搜索、学习和理解中的不同问题,一系列的案例研究、任务和应用被提出。最后,教程指出一些未来研究的方向和展望。教程旨在向初学者介绍深度贝叶斯学习中的主要主题,激发和解释它对数据挖掘和自然语言理解正在浮现的重要性,并提出一种结合不同的机器学习工作的新的综合方法。

教程的内容大致如下:

  • 简介
    • 动机和背景
    • 概率模型
    • 神经网络
  • 贝叶斯学习
    • 推断和优化
    • 变分贝叶斯推断
    • 蒙特卡罗马尔科夫链推断
  • 深度序列学习
    • 深度非展开主题模型
    • 门递归神经网络
    • 贝叶斯递归神经网络
    • 记忆增强神经网络
    • 序列到序列学习
    • 卷积神经网络
    • 扩增神经网络
    • 基于Transformer的注意力网络
  • 深度贝叶斯挖掘和学习
    • 变分自编码器
    • 变分递归自编码器
    • 层次变分自编码器
    • 随机递归神经网络
    • 正则递归神经网络
    • 跳跃递归神经网络
    • 马尔科夫递归神经网络
    • 时间差分变分自编码器
    • 未来挑战和发展
  • 总结和未来趋势

完整教程下载

请关注专知公众号(点击上方蓝色专知关注) 后台回复“DBDM20” 就可以获取完整教程PDF的下载链接~

教程部分内容如下所示:

参考链接:

http://chien.cm.nctu.edu.tw/home/wsdm-tutorial/

-END- 专 · 知

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取更多AI知识资料!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!

请加专知小助手微信(扫一扫如下二维码添加),获取专知VIP会员码,加入专知人工智能主题群,咨询技术商务合作~

点击“阅读原文”,了解注册使用专知

成为VIP会员查看完整内容
0
120

本课程将涵盖深度学习中不需要标注数据的两个领域:深度生成模型和自监督学习。生成模型的最新进展使得对自然图像、音频波形和文本语料库等高维原始数据进行真实建模成为可能。自监督学习的进步已经开始缩小监督表示学习和非监督表示学习之间的差距,本课程将涵盖这些主题的理论基础以及它们的新应用。

课程目录

  • 第1a讲: 课程安排;
  • 第1b讲: 课程动机;
  • 第1c讲: 基于似然的模型 Part I: 自回归模型
  • 第2a讲: 基于似然的模型 Part I: 自回归模型 (ctd)
  • 第2b讲: 无损压缩(Lossless Compression)
  • 第2c讲: 基于似然的模型 Part II: 流模型
  • 第3a讲:基于似然的模型 Part II:流模型(ctd)
  • 第3b讲:隐变量模型
  • 第4a讲:隐变量模型(ctd)(与第3周ppt相同)
  • 第5讲:隐式模型/生成对抗网络
  • 第六讲:非生成性表征学
  • 第7a讲:非生成表征学习(ctd)
  • 第7b讲:半监督学习
  • 第8讲:表征学习+其他问题
  • 第9a讲:无监督分布对齐
  • 第9b讲:客座讲座:Ilya Sutskever
  • 第10a讲:无监督分配对齐(ctd)
  • 第10b讲:客座讲座:Durk Kingma
  • 第11讲:语言模型(Alec Radford)
  • 第12a讲:无监督的表征学习
  • 第12b讲:客座讲座Alyosha Efros
  • 第13a讲:待定(TBD)
  • 第13b讲:客座讲座Aaron van den Oord
成为VIP会员查看完整内容
Lecture 5c+6a - Implicit Models (GANs).pdf
1a-4b_merged.pdf
6b-11_merged .pdf
0
26

本文为大家带来了一份斯坦福大学的最新课程CS236——深度生成模型,目前更新到第一课,感兴趣的同学可以多多关注,跟随学习。

生成式模型被广泛应用到人工智能和机器学习的诸多领域当中。最近,通过结合随机梯度下降的优化方法,使用深度神经网络参数化这些模型所取得的进展,已经使得对于包括图像,文本和语音在内的复杂,高维度数据建模成为可能。在本次课程中,我们将要学习深度生成式模型的概率基础和学习算法,包括自动编码器(AE)的各种变体,生成式对抗网络,自回归模型和标准化流模型(normalizing flow models)。本课程还将讨论从深度生成式模型中获益的应用领域,例如计算机视觉,语音,自然语言处理,图挖掘和强化学习。

成为VIP会员查看完整内容
0
38
小贴士
相关论文
A Survey on Bayesian Deep Learning
Hao Wang,Dit-Yan Yeung
48+阅读 · 2020年7月2日
Tianshuo Zhou,Ziyang Li,Gong Cheng,Jun Wang,Yu'Ang Wei
4+阅读 · 2019年10月11日
Hiroaki Hayashi,Zecong Hu,Chenyan Xiong,Graham Neubig
19+阅读 · 2019年8月21日
Yang Liu
21+阅读 · 2019年3月25日
Anna Breger,Jose Ignacio Orlando,Pavol Harar,Monika Dörfler,Sophie Klimscha,Christoph Grechenig,Bianca S. Gerendas,Ursula Schmidt-Erfurth,Martin Ehler
3+阅读 · 2019年1月22日
Ke Li,Jitendra Malik
5+阅读 · 2018年11月29日
Speeding-up Object Detection Training for Robotics with FALKON
Elisa Maiettini,Giulia Pasquale,Lorenzo Rosasco,Lorenzo Natale
6+阅读 · 2018年8月27日
Video-to-Video Synthesis
Ting-Chun Wang,Ming-Yu Liu,Jun-Yan Zhu,Guilin Liu,Andrew Tao,Jan Kautz,Bryan Catanzaro
6+阅读 · 2018年8月20日
A Dual Approach to Scalable Verification of Deep Networks
Krishnamurthy, Dvijotham,Robert Stanforth,Sven Gowal,Timothy Mann,Pushmeet Kohli
3+阅读 · 2018年8月3日
Top
微信扫码咨询专知VIP会员