结构化数据的自适应处理是机器学习中一个长期存在的研究课题,研究如何自动学习从结构化输入到各种性质的输出的映射。最近,人们对图形的自适应处理越来越感兴趣,这导致了不同的基于神经网络的方法的发展。在本论文中,我们采用不同的方法,开发了一个用于图学习的贝叶斯深度学习框架。本论文首先回顾了该领域中大多数方法建立的原则,然后对图分类再现性问题进行了研究。然后,通过以增量的方式构建我们的深度架构,我们继续将深度学习的基本思想与贝叶斯世界联系起来。这个框架允许我们考虑具有离散和连续边缘特征的图,产生足够丰富的无监督嵌入,以达到在多个分类任务上的先进水平。该方法还支持贝叶斯非参数扩展,它可以自动选择几乎所有模型的超参数。两个真实世界的应用证明了深度学习对图形的有效性。第一个问题是用有监督的神经模型预测分子模拟的信息理论量。之后,我们利用贝叶斯模型来解决恶意软件分类任务,同时对过程内代码混淆技术具有鲁棒性。最后,我们试图将神经和贝叶斯世界的精华融合在一起。由此产生的混合模型能够预测以输入图为条件的多模态分布,因此能够比大多数工作更好地模拟随机性和不确定性。总的来说,我们的目标是为图形深度学习的研究领域提供一个贝叶斯视角。

成为VIP会员查看完整内容
35

相关内容

贝叶斯方法可以用于学习神经网络权重的概率分布。将神经网络中的wi 和 b 由确定的值变成分布(distributions)。具体而言,为弥补反向传播的不足,通过在模型参数或模型输出上放置概率分布来估计。在权重上放置一个先验分布,然后尝试捕获这些权重在给定数据的情况下变化多少来模拟认知不确定性。该方法不是训练单个网络,而是训练网络集合,其中每个网络的权重来自共享的、已学习的概率分布。
【博士论文】多任务学习视觉场景理解,140页pdf
【ETH博士论文】贝叶斯深度学习,241页pdf
专知会员服务
73+阅读 · 1月16日
专知会员服务
26+阅读 · 2021年8月17日
MIT最新《贝叶斯深度学习》综述论文,37页pdf
专知会员服务
35+阅读 · 2021年1月4日
【新书册】贝叶斯神经网络,41页pdf
专知会员服务
138+阅读 · 2020年6月3日
再介绍一篇最新的Contrastive Self-supervised Learning综述论文
夕小瑶的卖萌屋
0+阅读 · 2021年9月22日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
12+阅读 · 2月24日
A Survey on Bayesian Deep Learning
Arxiv
51+阅读 · 2020年7月2日
Arxiv
37+阅读 · 2020年3月10日
Arxiv
22+阅读 · 2020年1月2日
Optimization for deep learning: theory and algorithms
Arxiv
89+阅读 · 2019年12月19日
Arxiv
44+阅读 · 2018年12月11日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
相关论文
Arxiv
12+阅读 · 2月24日
A Survey on Bayesian Deep Learning
Arxiv
51+阅读 · 2020年7月2日
Arxiv
37+阅读 · 2020年3月10日
Arxiv
22+阅读 · 2020年1月2日
Optimization for deep learning: theory and algorithms
Arxiv
89+阅读 · 2019年12月19日
Arxiv
44+阅读 · 2018年12月11日
微信扫码咨询专知VIP会员