Deep neural networks (DNNs) have successfully learned useful data representations in various tasks, however, assessing the reliability of these representations remains a challenge. Deep Ensemble is widely considered the state-of-the-art method for uncertainty estimation, but it is very expensive to train and test. MC-Dropout is another alternative method, which is less expensive but lacks the diversity of predictions. To get more diverse predictions in less time, we introduce Randomized ReLU Activation (RRA) framework. Under the framework, we propose two strategies, MC-DropReLU and MC-RReLU, to estimate uncertainty. Instead of randomly dropping some neurons of the network as in MC-Dropout, the RRA framework adds randomness to the activation function module, making the outputs diverse. As far as we know, this is the first attempt to add randomness to the activation function module to generate predictive uncertainty. We analyze and compare the output diversity of MC-Dropout and our method from the variance perspective and obtain the relationship between the hyperparameters and output diversity in the two methods. Moreover, our method is simple to implement and does not need to modify the existing model. We experimentally validate the RRA framework on three widely used datasets, CIFAR10, CIFAR100, and TinyImageNet. The experiments demonstrate that our method has competitive performance but is more favorable in training time and memory requirements.


翻译:深心神经网络(DNNS)在各种任务中成功地学到了有用的数据表述,然而,评估这些表述的可靠性仍是一项挑战。深度组合被广泛视为最先进的不确定性估计方法,但培训和测试费用非常昂贵。MC-Dropout是另一种替代方法,其成本较低,但缺乏预测的多样性。为了在较少的时间里获得更加多样的预测,我们引入了随机的ReLU激活框架。在这个框架内,我们从差异角度分析和比较了MC-DropReLU和MC-RRELU的产出多样性。我们提出了两种战略,即MC-DropREU和MC-RRELU,以估计不确定性。在M-Dropout中,RRA框架为网络中随机丢弃了一些神经神经元,但非常昂贵的培训和产出多样性。此外,在激活功能功能模块中,RRA框架增加了随机随机性,而这是我们第一次尝试在激活功能模块中添加随机性来产生预测不确定性。我们从差异的角度分析和比较了MC-ROproproduction 和我们的方法,我们从可变的模型与M-ReLLLLU之间获得了关系,但在两个实验框架中,我们使用的方法是简单的方法。我们使用的方法是用来来验证。我们使用。我们使用的方法是简单的方法。我们使用的方法,而不用的方法是用来来验证。我们用来来验证。

0
下载
关闭预览

相关内容

专知会员服务
17+阅读 · 2020年9月6日
开源书:PyTorch深度学习起步
专知会员服务
50+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
已删除
将门创投
3+阅读 · 2019年9月4日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
LibRec 精选:推荐的可解释性[综述]
LibRec智能推荐
10+阅读 · 2018年5月4日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
8+阅读 · 2021年7月15日
Arxiv
30+阅读 · 2021年7月7日
Implicit Maximum Likelihood Estimation
Arxiv
7+阅读 · 2018年9月24日
Arxiv
6+阅读 · 2018年2月28日
VIP会员
相关VIP内容
专知会员服务
17+阅读 · 2020年9月6日
开源书:PyTorch深度学习起步
专知会员服务
50+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
相关资讯
已删除
将门创投
3+阅读 · 2019年9月4日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
LibRec 精选:推荐的可解释性[综述]
LibRec智能推荐
10+阅读 · 2018年5月4日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员