Normalizing flows are prominent deep generative models that provide tractable probability distributions and efficient density estimation. However, they are well known to fail while detecting Out-of-Distribution (OOD) inputs as they directly encode the local features of the input representations in their latent space. In this paper, we solve this overconfidence issue of normalizing flows by demonstrating that flows, if extended by an attention mechanism, can reliably detect outliers including adversarial attacks. Our approach does not require outlier data for training and we showcase the efficiency of our method for OOD detection by reporting state-of-the-art performance in diverse experimental settings. Code available at https://github.com/ComputationalRadiationPhysics/InFlow .


翻译:标准化流动是突出的深层基因模型,提供了可移植概率分布和高效率的密度估计,但众所周知,在发现外传播(OOOD)输入时,这些输入在直接编码其潜在空间内输入表示的当地特征时是失败的。在本文件中,我们通过证明流动如果通过关注机制加以扩展,可以可靠地探测出包括对抗性攻击在内的外源,来解决流动正常化的过度自信问题。我们的方法不需要外部数据进行培训,我们通过报告不同实验环境中的最新性能来展示我们OOD探测方法的效率。代码见https://github.com/ComputationalRadiationPhysics/InFlow。

0
下载
关闭预览

相关内容

文本立场检测综述
专知会员服务
29+阅读 · 2021年11月2日
专知会员服务
18+阅读 · 2021年6月27日
专知会员服务
44+阅读 · 2020年10月31日
专知会员服务
113+阅读 · 2020年10月8日
商业数据分析,39页ppt
专知会员服务
158+阅读 · 2020年6月2日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
异常检测(Anomaly Detection)综述
极市平台
19+阅读 · 2020年10月24日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Relation Networks for Object Detection 论文笔记
统计学习与视觉计算组
16+阅读 · 2018年4月18日
动手写机器学习算法:异常检测 Anomaly Detection
七月在线实验室
11+阅读 · 2017年12月8日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年12月13日
Arxiv
0+阅读 · 2021年12月6日
Arxiv
4+阅读 · 2019年5月1日
Deep Anomaly Detection with Outlier Exposure
Arxiv
17+阅读 · 2018年12月21日
VIP会员
相关VIP内容
文本立场检测综述
专知会员服务
29+阅读 · 2021年11月2日
专知会员服务
18+阅读 · 2021年6月27日
专知会员服务
44+阅读 · 2020年10月31日
专知会员服务
113+阅读 · 2020年10月8日
商业数据分析,39页ppt
专知会员服务
158+阅读 · 2020年6月2日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
相关资讯
异常检测(Anomaly Detection)综述
极市平台
19+阅读 · 2020年10月24日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Relation Networks for Object Detection 论文笔记
统计学习与视觉计算组
16+阅读 · 2018年4月18日
动手写机器学习算法:异常检测 Anomaly Detection
七月在线实验室
11+阅读 · 2017年12月8日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员