让DL可解释?这一份66页贝叶斯深度学习教程告诉你

2018 年 8 月 4 日 专知
让DL可解释?这一份66页贝叶斯深度学习教程告诉你

【导读】贝叶斯深度学习对于理解深度学习这个黑盒子能提供可解释性,在深度学习理论研究中这几年也是非常地热。机器学习专家Andrew Gordon Wilson 在这个PPT教程详细讲述了模型选择、贝叶斯和频率的区别、贝叶斯推断、预测分布、Beta分布、高斯过程、神经网络、以及作者最新提出的Bayesian GAN


为什么需要使用贝叶斯深度学习(Bayesian Deep Learning)?


  • 一个强大的模型构建和理解泛化框架,


  • 不确定性表示(决策的关键),


  • 更好的点估计


  • 这是第二波神经网络结束时最成功的方法(Neal,1998),


  • 从概率论的角度来看,神经网络并不那么神秘。


为什么不呢?


  • 可能在计算上难以处理(但不必如此,作者提出很多解决方法)


  • 可能涉及很多个模块(但不一定)


在过去的两年里,作者将这些局限性作为一个非常富有成果的研究方向的一部分,并取得了令人振奋的进展。详细见PPT内容。



摘要


生成对抗网络(GANs)可以隐式地学习图像,音频和数据上丰富的分布表示,这些分布难以显式地进行建模。 作者提出了一种实用的贝叶斯公式,用于使用GAN进行无监督和半监督学习。 


在此框架内,作者使用随机梯度哈密顿蒙特卡罗(Hamiltonian Monte Carlo)来边缘化生成器和判别器网络的权重。 这种方法简单直观,并且在没有任何标准干预(比如标签平滑或小批量判别)的情况下获得良好的性能。 通过探索生成器参数的表达后验,Bayesian GAN避免了模型崩溃,产生了可解释和多样化的候选样本,并为包括SVHN,CelebA和CIFAR-10在内的基准测试提供半监督学习的最好的(state-of-the-art)定量结果。 并且表现优于DCGAN,Wasserstein GAN和DCGAN。


https://arxiv.org/abs/1705.09558


https://github.com/andrewgordonwilson/bayesgan


请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“BDL2018” 就可以66页的 贝叶斯深度学习PPT 下载链接~ 


作者主页链接:

https://people.orie.cornell.edu/andrew/



附PPT原文:



-END-

专 · 知


人工智能领域主题知识资料查看与加入专知人工智能服务群

【专知AI服务计划】专知AI知识技术服务会员群加入人工智能领域26个主题知识资料全集获取欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询


请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料

请加专知小助手微信(扫一扫如下二维码添加),加入专知主题群(请备注主题类型:AI、NLP、CV、 KG等)交流~


关注专知公众号,获取人工智能的专业知识!

点击“阅读原文”,使用专知

登录查看更多
17

相关内容

贝叶斯方法可以用于学习神经网络权重的概率分布。将神经网络中的wi 和 b 由确定的值变成分布(distributions)。具体而言,为弥补反向传播的不足,通过在模型参数或模型输出上放置概率分布来估计。在权重上放置一个先验分布,然后尝试捕获这些权重在给定数据的情况下变化多少来模拟认知不确定性。该方法不是训练单个网络,而是训练网络集合,其中每个网络的权重来自共享的、已学习的概率分布。

【导读】纽约大学的Andrew Gordon Wilson和Pavel Izmailov在论文中从概率角度的泛化性对贝叶斯深度学习进行了探讨。贝叶斯方法的关键区别在于它是基于边缘化,而不是基于最优化的,这为它带来了许多优势。

贝叶斯方法的关键区别是边缘化,而不是使用单一的权重设置。贝叶斯边缘化可以特别提高现代深度神经网络的准确性和校准,这是典型的不由数据完全确定,可以代表许多令人信服的但不同的解决方案。我们证明了深度集成为近似贝叶斯边缘化提供了一种有效的机制,并提出了一种相关的方法,通过在没有显著开销的情况下,在吸引域边缘化来进一步改进预测分布。我们还研究了神经网络权值的模糊分布所隐含的先验函数,从概率的角度解释了这些模型的泛化性质。从这个角度出发,我们解释了那些对于神经网络泛化来说神秘而独特的结果,比如用随机标签来拟合图像的能力,并证明了这些结果可以用高斯过程来重现。最后,我们提供了校正预测分布的贝叶斯观点。

成为VIP会员查看完整内容
0
61
小贴士
相关论文
A Survey on Bayesian Deep Learning
Hao Wang,Dit-Yan Yeung
46+阅读 · 2020年7月2日
Emmanuel Bengio,Joelle Pineau,Doina Precup
8+阅读 · 2020年3月13日
Wenwu Zhu,Xin Wang,Peng Cui
19+阅读 · 2020年1月2日
Sneha Chaudhari,Gungor Polatkan,Rohan Ramanath,Varun Mithal
12+阅读 · 2019年4月5日
Parsimonious Bayesian deep networks
Mingyuan Zhou
3+阅读 · 2018年10月17日
Chiyuan Zhang,Oriol Vinyals,Remi Munos,Samy Bengio
7+阅读 · 2018年4月20日
Zhanxiang Feng,Jianhuang Lai,Xiaohua Xie
7+阅读 · 2018年3月30日
Quanshi Zhang,Song-Chun Zhu
12+阅读 · 2018年2月7日
Linyuan Gong,Ruyi Ji
8+阅读 · 2018年1月19日
Lingxiao He,Jian Liang,Haiqing Li,Zhenan Sun
9+阅读 · 2018年1月3日
Top