Moving beyond testing on in-distribution data works on Out-of-Distribution (OOD) detection have recently increased in popularity. A recent attempt to categorize OOD data introduces the concept of near and far OOD detection. Specifically, prior works define characteristics of OOD data in terms of detection difficulty. We propose to characterize the spectrum of OOD data using two types of distribution shifts: covariate shift and concept shift, where covariate shift corresponds to change in style, e.g., noise, and concept shift indicates a change in semantics. This characterization reveals that sensitivity to each type of shift is important to the detection and confidence calibration of OOD data. Consequently, we investigate score functions that capture sensitivity to each type of dataset shift and methods that improve them. To this end, we theoretically derive two score functions for OOD detection, the covariate shift score and concept shift score, based on the decomposition of KL-divergence for both scores, and propose a geometrically-inspired method (Geometric ODIN) to improve OOD detection under both shifts with only in-distribution data. Additionally, the proposed method naturally leads to an expressive post-hoc calibration function which yields state-of-the-art calibration performance on both in-distribution and out-of-distribution data. We are the first to propose a method that works well across both OOD detection and calibration and under different types of shifts. View project page at https://sites.google.com/view/geometric-decomposition.


翻译:最近试图将OOOD数据分类,引入了近距离和远距离OOOD检测的概念。具体地说,先前的工作界定OOOD数据在检测难度方面的特性。我们提议使用两种分布变化类型来描述OOD数据的频谱:共变转移和概念转变,即共变转移与风格变化相对应,例如噪音和概念转变表明语义变化。这种定性表明,对每类转移的敏感性对于OOOD数据的检测和信心校准十分重要。因此,我们调查的分数功能能够捕捉到对每类数据集变化的敏感性以及改进数据的方法。为此,我们从理论上为OOOD的检测、共变换变换分和概念转变评分得出两个评分功能,根据KL-divorgence对分的变换位,提出一种对地校正判法方法(ODING)来改进OOD的检测工作,但只是在分配期间进行这种变换和变校准后,因此,拟议的方法自然得出了O-ral-ral-ral-ral-deal-deal-deal-deal-laction laction laction-laction-laction-laction-laction-laction-lade-lade-lade-de laction-labal laction-laction-laction-labal laction-de-de-de-de-laut laction-de-de-de-de-de-de-de-de-de-de-de-la-laction-laction-laction-laction-laction-laction-laction-laction-laction-de-de-de-laction-laction-laction-laction-de-de-de-de-de-de-laction-de-de-de-de-de-de-de-de-de-laction-de-laction-laction-laction-laction-laction-laction-de-de-de-de-lad-laction-laction-de-de-de-de-de-laction-de-laction-laction-de-laction-lad-la-la-la-la-la-la-la-la-la-

0
下载
关闭预览

相关内容

【图神经网络导论】Intro to Graph Neural Networks,176页ppt
专知会员服务
125+阅读 · 2021年6月4日
专知会员服务
14+阅读 · 2021年5月21日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
【推荐】ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
机器学习研究会
20+阅读 · 2017年12月17日
动手写机器学习算法:异常检测 Anomaly Detection
七月在线实验室
11+阅读 · 2017年12月8日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Extreme events evaluation using CRPS distributions
Arxiv
0+阅读 · 2022年1月26日
Arxiv
0+阅读 · 2022年1月24日
Arxiv
0+阅读 · 2022年1月23日
Generalized Out-of-Distribution Detection: A Survey
Arxiv
15+阅读 · 2021年10月21日
Arxiv
38+阅读 · 2021年8月31日
Arxiv
11+阅读 · 2021年2月17日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
【推荐】ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
机器学习研究会
20+阅读 · 2017年12月17日
动手写机器学习算法:异常检测 Anomaly Detection
七月在线实验室
11+阅读 · 2017年12月8日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员