【干货】PyMC3和Theano代码构建贝叶斯深度网络,61页PPT探索贝叶斯深度学习以及实现(附下载)

2017 年 12 月 26 日 专知 专知内容组(编)

【导读】近日,Novartis的数据科学家 Eric J. Ma 进行了一次关于贝叶斯深度学习理论和实现的演讲,演讲题目是《An Attempt At Demystifying Bayesian Deep Learning》,在这次演讲中,目的是要做两件事情:揭秘深度学习的本质(实质上是用梯度下降进行带权值的矩阵乘法),并揭秘贝叶斯深度学习(将先验信息加在权值上)。 然后,作者通过PyMC3和Theano代码来说明如何构建贝叶斯深度网络,并将结果中的不确定性进行可视化,这个PPT和视频内容是学习贝叶斯深度学习非常好的资料,建议大家收藏。


▌内容目录




  • 简要介绍深度学习:

    • 是一种使用矩阵运算的模型;

    • 并行:线性回归/非线性回归/前馈神经网络结构(Feed Forward NN Architecture)

 

  • 我们估计哪些参数

    • 权值

    • 过滤器值(卷积)

    • 用梯度下降进行估计

 

  • 我们缺少什么?不确定性措施:

    • 最重要的原因是:我们能否判断我们的模型对预测是否有信心?

 

  • 贝叶斯深度学习的本质:

    • 估计参数的概率分布,而不是原来的点估计

    • 最常见的先验:权值矩阵上的单位高斯

 

  • 代码示例:

    • 用前馈神经网络进行二分类

    • 前馈神经网络的非线性回归

 

  • 参考文献:

    • “twiecki”的博客

    • Yarin Gal thesis + papers

 

演讲视频



 

https://v.qq.com/x/page/q05242qwejm.html



参考链接:

https://pydata.org/nyc2017/schedule/presentation/39/

https://ericmjl.github.io/


PPT详细内容






请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“DBDL” 就可以获取An Attempt At Demystifying Bayesian Deep Learning PPT下载~

-END-

专 · 知

人工智能领域主题知识资料查看获取【专知荟萃】人工智能领域26个主题知识资料全集(入门/进阶/论文/综述/视频/专家等)

同时欢迎各位用户进行专知投稿,详情请点击

诚邀】专知诚挚邀请各位专业者加入AI创作者计划了解使用专知!

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料

请扫一扫如下二维码关注我们的公众号,获取人工智能的专业知识!

请加专知小助手微信(Rancho_Fang),加入专知主题人工智能群交流!

点击“阅读原文”,使用专知

登录查看更多
9

相关内容

贝叶斯方法可以用于学习神经网络权重的概率分布。将神经网络中的wi 和 b 由确定的值变成分布(distributions)。具体而言,为弥补反向传播的不足,通过在模型参数或模型输出上放置概率分布来估计。在权重上放置一个先验分布,然后尝试捕获这些权重在给定数据的情况下变化多少来模拟认知不确定性。该方法不是训练单个网络,而是训练网络集合,其中每个网络的权重来自共享的、已学习的概率分布。
【新书册】贝叶斯神经网络,41页pdf
专知会员服务
174+阅读 · 2020年6月3日
【经典书】机器学习高斯过程,266页pdf
专知会员服务
225+阅读 · 2020年5月2日
Python数据分析:过去、现在和未来,52页ppt
专知会员服务
99+阅读 · 2020年3月9日
WSDM 2020教程《深度贝叶斯数据挖掘》,附257页PPT下载
专知会员服务
153+阅读 · 2020年2月7日
【新书】傻瓜式入门深度学习,371页pdf
专知会员服务
183+阅读 · 2019年12月28日
基于深度学习的文本生成【附217页PPT下载】
专知
34+阅读 · 2018年11月24日
Pytorch作者Adam Paszke-53页Pytorch教程PPT
专知
34+阅读 · 2018年10月27日
机器学习数学基础【附PPT下载】
专知
45+阅读 · 2018年9月17日
【下载】TensorFlow机器学习教程手把手书谱
专知
38+阅读 · 2017年12月22日
A Survey on Bayesian Deep Learning
Arxiv
60+阅读 · 2020年7月2日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Arxiv
34+阅读 · 2020年1月2日
Neural Response Generation with Meta-Words
Arxiv
6+阅读 · 2019年6月14日
Arxiv
12+阅读 · 2018年9月5日
Arxiv
3+阅读 · 2018年8月17日
VIP会员
相关VIP内容
【新书册】贝叶斯神经网络,41页pdf
专知会员服务
174+阅读 · 2020年6月3日
【经典书】机器学习高斯过程,266页pdf
专知会员服务
225+阅读 · 2020年5月2日
Python数据分析:过去、现在和未来,52页ppt
专知会员服务
99+阅读 · 2020年3月9日
WSDM 2020教程《深度贝叶斯数据挖掘》,附257页PPT下载
专知会员服务
153+阅读 · 2020年2月7日
【新书】傻瓜式入门深度学习,371页pdf
专知会员服务
183+阅读 · 2019年12月28日
相关论文
A Survey on Bayesian Deep Learning
Arxiv
60+阅读 · 2020年7月2日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Arxiv
34+阅读 · 2020年1月2日
Neural Response Generation with Meta-Words
Arxiv
6+阅读 · 2019年6月14日
Arxiv
12+阅读 · 2018年9月5日
Arxiv
3+阅读 · 2018年8月17日
Top
微信扫码咨询专知VIP会员