2022新书《深度生成模型》出版,前高通AI研究员Jakub Tomczak力作,Max Welling作序,200+pdf

2022 年 2 月 24 日 专知
转载机器之心
编辑:蛋酱
这本书的代码已经全部开放,读者可以边看边实践,学会实现「深度生成模型」。

今天,阿姆斯特丹自由大学助理教授、前高通 AI 研究中心研究员 Jakub Tomczak 在推特上公布了全新著作《深度生成模型》的进展,目前这本书已经正式出版。


书籍访问地址: https://link.springer.com/book/10.1007/978-3-030-93158-2

在书的最开始,阿姆斯特丹大学机器学习研究主席、前高通技术副总裁、现微软阿姆斯特丹实验室首席科学家 Max Welling 写下了序言:

过去的十年中,随着深度学习的发展,机器学习领域取得了巨大的进步,并彻底改变了人工智能的分支领域,如计算机视觉、语音识别和自然语言处理。同时,更多的领域正在被重塑,包括机器人技术、无线通信和自然科学。

此前,大多数的进步来自监督学习,输入 (例如一张图片) 和目标标签 (例如「猫」) 即可用于训练。深度神经网络在预测视觉场景中的物体和语言之间的转换方面表现得出奇优秀,但是获得标签来训练这样的模型通常是耗时的、昂贵的,甚至是不道德的或者根本不可能的。

所以,研究者们已经认识到无监督 (或自监督) 方法是取得进一步进展的关键。这和人类的学习过程没有什么不同: 当人类的孩子长大后,Ta 为了理解这个世界所消耗的信息量大部分是无标签的。又有多少人会真正告诉你「你在这个世界上看到或听到了什么?」人们必须在无监督的情况下学习世界的规律,通过在数据中搜索模式和结构来做到这一点,这就是人工智能模型需要借鉴的地方。

当然,对于机器人来说,理解世界是更困难的。实用的学习方法是使用大量数据的非监督式学习。这个领域已经获得了巨大的关注,并且近来取得了惊人的进步。非监督式学习有很多种,这本书是关于概率生成模型的那一类。其目标是预估一个输入数据的概率模型,一旦有了这样一个模型,就可以从中生成新的样本(比如不存在的人的新面孔图像)。

在《深度生成模型》这本书中,作者通过结合概率模型和深度学习来处理构建人工智能系统的问题。此外,它超越了典型的预测模型,将监督学习和非监督学习结合在一起。由此产生的范式称为「深度生成模型」,它从生成视角感知周围的世界。该方法假设每个现象都是由一个潜在的生成过程驱动的,这个生成过程定义了随机变量及其随机相互作用的联合分布,即事件发生的方式和顺序。「深度」的形容来自于一个事实,即分布是用深度神经网络参数化的。

深度生成模型有两个显著的特点。首先,深度神经网络的应用允许丰富而灵活的参量化分布;其次,使用概率论建立随机依赖关系的原则性方式确保了严格的公式化,并防止了推理中的潜在缺陷;此外,概率论提供了一个统一的框架,其中似然函数在量化不确定性和定义目标函数中起着关键作用。

《深度生成模型》这本书旨在吸引对该领域感兴趣的学生、工程师和研究人员,他们在本科微积分、线性代数、概率论、机器学习、深度学习、 Python 和 PyTorch (或其他深度学习库)编程方面有一定的数学背景。本书将吸引来自不同背景但希望了解深度生成模型的学生和研究人员,包括计算机科学、工程学、数据科学、物理学和生物信息学领域。

这本书用具体的例子和代码片段介绍了基本概念。每个章节中涉及的代码都已经在 Github 上公布: https://github.com/jmtomczak/intro_dgm

作者介绍


自 2019 年 11 月以来,Jakub Tomczak 是阿姆斯特丹自由大学计算智能小组的人工智能助理教授。此前,他是阿姆斯特丹高通 AI 研究中心的深度学习研究员。2016 年 10 月至 2018 年 9 月,他是阿姆斯特丹大学 Max Welling 教授小组的 Marie Sklodowska-Curie 个人研究员。

Jakub Tomczak 在波兰的弗罗茨瓦夫大学获得了机器学习博士学位。他的研究兴趣包括概率建模、深度学习、近似贝叶斯模型和深度生成模型(特别关注变分自动编码器和基于流的模型)。

书籍目录

本书的目的是概述深度生成模型中最重要的技术,让读者能够搭建新的模型并实现它们。书由八章组成,可以单独阅读,并且几乎能够按任何顺序阅读。第一章介绍了主题,重点介绍了深度生成模型和一般概念的重要类别。第二、三、四章讨论了边际分布的建模问题。第五章和第六章概述了联合分布模型的内容。第七章提出了一种不通过基于似然的目标学习的潜在变量模型。最后一章阐述了深度生成模型在快速发展的神经压缩领域中的应用。


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“DGM200” 就可以获取Max Welling作序,前高通AI研究员Jakub Tomczak2022新书《深度生成模型》出版,200+pdf》专知下载链接

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取70000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取70000+AI主题知识资源
登录查看更多
1

相关内容

深度生成模型基本都是以某种方式寻找并表达(多变量)数据的概率分布。有基于无向图模型(马尔可夫模型)的联合概率分布模型,另外就是基于有向图模型(贝叶斯模型)的条件概率分布。前者的模型是构建隐含层(latent)和显示层(visible)的联合概率,然后去采样。基于有向图的则是寻找latent和visible之间的条件概率分布,也就是给定一个随机采样的隐含层,模型可以生成数据。 生成模型的训练是一个非监督过程,输入只需要无标签的数据。除了可以生成数据,还可以用于半监督的学习。
专知会员服务
38+阅读 · 2021年7月4日
英国杜伦大学「深度生成建模」大综述论文,21页pdf
专知会员服务
48+阅读 · 2021年3月16日
【自监督学习】OpenAI科学家一文详解自监督学习
产业智能官
25+阅读 · 2020年3月18日
干货 | 可解释的机器学习
AI科技评论
18+阅读 · 2019年7月3日
免费中文书籍-《神经网络与深度学习》中文版推荐
深度学习与NLP
20+阅读 · 2019年4月2日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
57+阅读 · 2022年1月5日
Arxiv
46+阅读 · 2021年10月4日
Arxiv
16+阅读 · 2021年7月18日
Arxiv
13+阅读 · 2021年3月29日
Arxiv
19+阅读 · 2020年7月21日
Arxiv
25+阅读 · 2018年8月19日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
相关论文
Arxiv
57+阅读 · 2022年1月5日
Arxiv
46+阅读 · 2021年10月4日
Arxiv
16+阅读 · 2021年7月18日
Arxiv
13+阅读 · 2021年3月29日
Arxiv
19+阅读 · 2020年7月21日
Arxiv
25+阅读 · 2018年8月19日
Top
微信扫码咨询专知VIP会员