Deterministic neural networks (NNs) are increasingly being deployed in safety critical domains, where calibrated, robust, and efficient measures of uncertainty are crucial. In this paper, we propose a novel method for training non-Bayesian NNs to estimate a continuous target as well as its associated evidence in order to learn both aleatoric and epistemic uncertainty. We accomplish this by placing evidential priors over the original Gaussian likelihood function and training the NN to infer the hyperparameters of the evidential distribution. We additionally impose priors during training such that the model is regularized when its predicted evidence is not aligned with the correct output. Our method does not rely on sampling during inference or on out-of-distribution (OOD) examples for training, thus enabling efficient and scalable uncertainty learning. We demonstrate learning well-calibrated measures of uncertainty on various benchmarks, scaling to complex computer vision tasks, as well as robustness to adversarial and OOD test samples.


翻译:确定性神经网络(NNs)正越来越多地部署在安全关键领域,在这个关键领域,校准、稳健和高效的不确定性措施至关重要。在本文件中,我们提出一种新的方法,用于培训非巴伊西亚NNS,以估计连续目标及其相关证据,从而既学习感官不确定性,也学习认知性不确定性。我们通过在最初高斯概率功能上设定证据前科,培训NN,以推断证据分布的超参数。我们还在培训期间规定了前科,以便在预测证据与正确产出不一致时,使模型正规化。我们的方法并不依赖在推断或分配外实例中进行取样,从而使得能够高效和可扩展的不确定性学习。我们展示了在各种基准上对各种不确定性的衡量方法,将尺度缩放到复杂的计算机视觉任务上,并展示了对立和 OOODD测试样品的坚固性。

0
下载
关闭预览

相关内容

因果图,Causal Graphs,52页ppt
专知会员服务
249+阅读 · 2020年4月19日
深度强化学习策略梯度教程,53页ppt
专知会员服务
183+阅读 · 2020年2月1日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
31+阅读 · 2019年10月17日
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
人工智能 | 国际会议/SCI期刊约稿信息9条
Call4Papers
3+阅读 · 2018年1月12日
【推荐】直接未来预测:增强学习监督学习
机器学习研究会
6+阅读 · 2017年11月24日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年1月14日
Arxiv
19+阅读 · 2021年1月14日
Arxiv
0+阅读 · 2021年1月14日
Arxiv
0+阅读 · 2021年1月13日
VIP会员
相关资讯
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
人工智能 | 国际会议/SCI期刊约稿信息9条
Call4Papers
3+阅读 · 2018年1月12日
【推荐】直接未来预测:增强学习监督学习
机器学习研究会
6+阅读 · 2017年11月24日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Arxiv
0+阅读 · 2021年1月14日
Arxiv
19+阅读 · 2021年1月14日
Arxiv
0+阅读 · 2021年1月14日
Arxiv
0+阅读 · 2021年1月13日
Top
微信扫码咨询专知VIP会员