设计具有不确定性的深度学习模型,使其能够在预测的同时提供合理的不确定性,一直是部分机器学习社区的目标。从业者也经常需要这样的模型。最普遍和最明显的方法是采用现有的深层架构,并尝试将现有的贝叶斯技术应用于它们,例如,将神经网络的权重作为贝叶斯框架中的随机变量处理。本文试图回答这个问题: 现有的神经网络架构是获得合理不确定性的最佳方式吗?在本文的第一部分,我们提出了在对抗环境下贝叶斯神经网络的不确定性行为的研究,这表明,虽然贝叶斯方法在数据分布附近的确定性网络上有显著的改进,但外推行为是不受欢迎的,因为标准神经网络架构在结构上偏向于自信外推。基于此,我们探索了两种标准深度学习架构的替代方案,试图解决这一问题。首先,我们描述了一种新的胶囊网络生成公式,它试图通过对场景结构的强假设来将结构强加到学习任务中。然后,我们使用这个生成模型来检查这些潜在的假设是否有用,并论证它们实际上存在重大缺陷。其次,我们探索了bilipschitz模型,这是一种解决深度神经网络中确保先验回归这一更有限目标的体系结构。这些方法基于深度核学习,试图通过使用最终分类层来控制神经网络的行为,当与支持向量集的距离增加时,分类层会恢复到先验值。为了在使用神经特征提取器的同时保持这一特性,我们为这些模型描述了一种新的“bilipschitz”正则化方案,该方案基于通过施加由可逆网络上的工作激发的约束来防止特征崩溃。我们描述了这些模型的各种有用的应用,并分析了为什么这种正则化方案似乎仍然有效,即使它背后的原始动机不再成立,特别是在特征维度低于输入的情况下。我们的结论是,虽然胶囊网络可能不是一个有前途的方向,但本文最后部分讨论的模型是未来研究的一个富有成果的领域,在许多应用中作为标准贝叶斯深度学习方法的一个有前途的潜在替代方案。

成为VIP会员查看完整内容
38

相关内容

牛津大学是一所英国研究型大学,也是罗素大学集团、英国“G5超级精英大学”,欧洲顶尖大学科英布拉集团、欧洲研究型大学联盟的核心成员。牛津大学培养了众多社会名人,包括了27位英国首相、60位诺贝尔奖得主以及数十位世界各国的皇室成员和政治领袖。2016年9月,泰晤士高等教育发布了2016-2017年度世界大学排名,其中牛津大学排名第一。

【博士论文】鲁棒深度学习自动驾驶,160页pdf
专知会员服务
31+阅读 · 11月17日
【哥伦比亚大学博士论文】深度概率图建模147页pdf
专知会员服务
66+阅读 · 2021年4月27日
【牛津大学博士论文】解释深度神经网络,134页pdf
专知会员服务
186+阅读 · 2020年10月8日
贝叶斯神经网络(系列)第一篇
AI研习社
10+阅读 · 2019年3月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
10+阅读 · 10月15日
Arxiv
18+阅读 · 2021年12月2日
Arxiv
22+阅读 · 2021年7月7日
Arxiv
45+阅读 · 2021年5月9日
Arxiv
10+阅读 · 2021年2月18日
已删除
Arxiv
27+阅读 · 2020年3月23日
Deep Learning in Video Multi-Object Tracking: A Survey
Arxiv
49+阅读 · 2019年7月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员