题目:

Confidence-Aware Learning for Deep Neural Networks

简介:

尽管深度神经网络可以执行多种任务,但过分一致的预测问题限制了它们在许多安全关键型应用中的实际应用。已经提出了许多新的工作来减轻这个问题,但是大多数工作需要在训练和/或推理阶段增加计算成本,或者需要定制的体系结构来分别输出置信估计。在本文中,我们提出了一种使用新的损失函数训练深度神经网络的方法,称为正确排名损失,该方法将类别概率显式规范化,以便根据依据的有序等级更好地进行置信估计。所提出的方法易于实现,并且无需进行任何修改即可应用于现有体系结构。而且,它的训练计算成本几乎与传统的深度分类器相同,并且通过一次推断就可以输出可靠的预测。在分类基准数据集上的大量实验结果表明,所提出的方法有助于网络产生排列良好的置信度估计。我们还证明,它对于与置信估计,分布外检测和主动学习密切相关的任务十分有效。

成为VIP会员查看完整内容
70

相关内容

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。
【CIKM2020】神经逻辑推理,Neural Logic Reasoning
专知会员服务
49+阅读 · 2020年8月25日
元学习(meta learning) 最新进展综述论文
专知会员服务
275+阅读 · 2020年5月8日
论文浅尝 | GMNN: Graph Markov Neural Networks
开放知识图谱
20+阅读 · 2020年2月14日
元学习—Meta Learning的兴起
专知
44+阅读 · 2019年10月19日
贝叶斯神经网络(系列)第一篇
AI研习社
14+阅读 · 2019年3月1日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
Attentive Graph Neural Networks for Few-Shot Learning
Arxiv
40+阅读 · 2020年7月14日
A Survey on Bayesian Deep Learning
Arxiv
59+阅读 · 2020年7月2日
Meta-Transfer Learning for Few-Shot Learning
Arxiv
7+阅读 · 2018年12月6日
Parsimonious Bayesian deep networks
Arxiv
5+阅读 · 2018年10月17日
Arxiv
4+阅读 · 2018年9月11日
Arxiv
21+阅读 · 2018年8月30日
Arxiv
11+阅读 · 2018年7月8日
Arxiv
8+阅读 · 2018年5月15日
Arxiv
25+阅读 · 2018年1月24日
Arxiv
4+阅读 · 2017年7月25日
VIP会员
相关资讯
论文浅尝 | GMNN: Graph Markov Neural Networks
开放知识图谱
20+阅读 · 2020年2月14日
元学习—Meta Learning的兴起
专知
44+阅读 · 2019年10月19日
贝叶斯神经网络(系列)第一篇
AI研习社
14+阅读 · 2019年3月1日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
相关论文
Attentive Graph Neural Networks for Few-Shot Learning
Arxiv
40+阅读 · 2020年7月14日
A Survey on Bayesian Deep Learning
Arxiv
59+阅读 · 2020年7月2日
Meta-Transfer Learning for Few-Shot Learning
Arxiv
7+阅读 · 2018年12月6日
Parsimonious Bayesian deep networks
Arxiv
5+阅读 · 2018年10月17日
Arxiv
4+阅读 · 2018年9月11日
Arxiv
21+阅读 · 2018年8月30日
Arxiv
11+阅读 · 2018年7月8日
Arxiv
8+阅读 · 2018年5月15日
Arxiv
25+阅读 · 2018年1月24日
Arxiv
4+阅读 · 2017年7月25日
微信扫码咨询专知VIP会员