【ETH博士论文】贝叶斯深度学习,241页pdf

2022 年 1 月 16 日 专知



近年来,深度学习已经将自己定位为机器学习最有前途的方向之一。然而,深度神经网络在不确定性估计、模型选择、先验知识的整合等方面存在许多不足。幸运的是,所有这些问题都可以在贝叶斯深度学习框架内克服,使用贝叶斯神经网络、变分自编码器或深度神经网络高斯过程等模型。不幸的是,这需要使用近似推理过程和先验分布的规范。在这篇论文中,我们展示了这些模型中先验规范不仅仅是一个麻烦,而是一个宝贵的机会,可以将领域知识和归纳偏见加入到学习算法中,从而提升全新应用的性能。为此,我们对相关文献进行了全面的回顾,并进一步贡献了不同的原创研究成果。


具体地说,我们证明了变分自编码器中的高斯过程先验可以改进时间序列的表示学习,并允许对缺失数据进行有效的插补,同时还可以提供校准的不确定性估计。我们还表明,通过使用变分高斯-马尔可夫过程,这是可能的,在没有显著的额外计算成本。此外,我们表明,在变分自编码器中使用自组织映射作为结构归纳偏差,可以提高学习表示的可解释性,并使有效的潜在聚类。这些聚类表示可以作为潜在时间序列模型的输入,从而准确地预测未来的状态。在贝叶斯神经网络中,我们证明了常用的各向同性高斯先验不仅会导致次优性能,而且在某些情况下还会产生所谓的冷后验效应,即经过缓和的后验比真正的贝叶斯后验表现更好。相反,我们提出了具有重尾性和空间相关性的备选先验,可以提高性能,缓解冷后验效应。最后,当没有先验知识可用时,我们表明先验分布可以在元学习环境中从相关任务中学习。在深度神经网络高斯过程的情况下,我们表明元学习的均值函数和核函数的先验改进预测性能和不确定性估计。


我们希望本文将为贝叶斯深度学习框架奠定基础,在该框架中,先验分布的选择将被视为建模任务的关键部分,手工设计和元学习的先验将在任务之间自由共享,以实现贝叶斯深度学习。


https://www.research-collection.ethz.ch/handle/20.500.11850/523269



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“BDL241” 就可以获取【ETH博士论文】贝叶斯深度学习,241页pdf》专知下载链接


专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!


欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
9

相关内容

贝叶斯方法可以用于学习神经网络权重的概率分布。将神经网络中的wi 和 b 由确定的值变成分布(distributions)。具体而言,为弥补反向传播的不足,通过在模型参数或模型输出上放置概率分布来估计。在权重上放置一个先验分布,然后尝试捕获这些权重在给定数据的情况下变化多少来模拟认知不确定性。该方法不是训练单个网络,而是训练网络集合,其中每个网络的权重来自共享的、已学习的概率分布。
专知会员服务
35+阅读 · 2021年8月17日
专知会员服务
34+阅读 · 2021年7月19日
专知会员服务
62+阅读 · 2021年4月11日
MIT最新《贝叶斯深度学习》综述论文,37页pdf
专知会员服务
50+阅读 · 2021年1月4日
【牛津大学博士论文】解释深度神经网络,134页pdf
专知会员服务
216+阅读 · 2020年10月8日
【Haute-Alsace博士论文】深度学习时序分类,175页pdf
专知会员服务
99+阅读 · 2020年10月4日
【新书册】贝叶斯神经网络,41页pdf
专知会员服务
177+阅读 · 2020年6月3日
【干货书】概率,统计与数据,513页pdf
专知
34+阅读 · 2021年11月27日
【经典书】贝叶斯强化学习概述,147页pdf
专知
4+阅读 · 2021年11月21日
【UMASS博士论文】几何表示学习,162页pdf
专知
1+阅读 · 2021年4月11日
「因果推理」概述论文,13页pdf
专知
16+阅读 · 2021年3月20日
【干货书】贝叶斯推断随机过程,449页pdf
专知
29+阅读 · 2020年8月27日
最新《动态网络嵌入》综述论文,25页pdf
专知
34+阅读 · 2020年6月17日
【新书册】贝叶斯神经网络,41页pdf
专知
27+阅读 · 2020年6月3日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
5+阅读 · 2011年12月31日
A Survey on Bayesian Deep Learning
Arxiv
63+阅读 · 2020年7月2日
VIP会员
相关VIP内容
专知会员服务
35+阅读 · 2021年8月17日
专知会员服务
34+阅读 · 2021年7月19日
专知会员服务
62+阅读 · 2021年4月11日
MIT最新《贝叶斯深度学习》综述论文,37页pdf
专知会员服务
50+阅读 · 2021年1月4日
【牛津大学博士论文】解释深度神经网络,134页pdf
专知会员服务
216+阅读 · 2020年10月8日
【Haute-Alsace博士论文】深度学习时序分类,175页pdf
专知会员服务
99+阅读 · 2020年10月4日
【新书册】贝叶斯神经网络,41页pdf
专知会员服务
177+阅读 · 2020年6月3日
相关基金
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
5+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员