Current out-of-distribution detection approaches usually present special requirements (e.g., collecting outlier data and hyperparameter validation) and produce side effects (e.g., classification accuracy drop and slow/inefficient inferences). Recently, entropic out-of-distribution detection has been proposed as a seamless approach (i.e., a solution that avoids all of the previously mentioned drawbacks). The entropic out-of-distribution detection solution uses the IsoMax loss for training and the entropic score for out-of-distribution detection. The IsoMax loss works as a SoftMax loss drop-in replacement because swapping the SoftMax loss with the IsoMax loss requires no changes in the model's architecture or training procedures/hyperparameters. In this paper, we perform what we call an isometrization of the distances used in the IsoMax loss. Additionally, we propose replacing the entropic score with the minimum distance score. Experiments showed that these simple modifications increase out-of-distribution detection performance while keeping the solution seamless. Besides being competitive with or outperforming all major current approaches, the proposed solution avoids all their current limitations in addition to being much easier to use because only a simple loss replacement for training the neural network is required.


翻译:目前的分配外检测方法通常产生特殊要求(例如,收集输出数据和超参数验证),并产生副作用(例如,分类精度下降和缓慢/无效推算),最近,作为无缝方法(即避免上述所有缺陷的一种解决办法),建议对分配外检测方法进行昆虫检测; 分配外检测方法使用IsoMAx损失作为培训和分配外检测的微分。 IsoMAx损失作为SoftMax损失的下降替换,因为将SoftMax损失与IsoMax损失互换为交换,不需要改变模型的结构或培训程序/机能参数。在本文中,我们执行我们所称的IsoMax损失所用距离的缩写法。此外,我们建议用最低距离评分来取代肿瘤的评分。 实验表明,这些简单的修改会增加分配外检测的性能,同时保持溶液的无缝合。除了与目前所有主要培训方法相比,要更加容易地使用,因为所有主要方法都避免了当前的升级,因此,目前所需的升级方法只是避免了全部损失。

0
下载
关闭预览

相关内容

专知会员服务
32+阅读 · 2021年9月16日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
已删除
将门创投
4+阅读 · 2019年6月5日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Out-of-Distribution Detection without Class Labels
Arxiv
0+阅读 · 2021年12月14日
Arxiv
0+阅读 · 2021年12月13日
Arxiv
0+阅读 · 2021年12月11日
Arxiv
4+阅读 · 2019年5月1日
Deep Anomaly Detection with Outlier Exposure
Arxiv
17+阅读 · 2018年12月21日
VIP会员
相关VIP内容
专知会员服务
32+阅读 · 2021年9月16日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
相关资讯
已删除
将门创投
4+阅读 · 2019年6月5日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员