异常检测最新综述论文

摘要

异常检测(AD)问题具有重要的意义,近年来引起了许多研究者的关注。

因此,在这一研究领域提出的方法数量稳步增加。AD与重要的计算机视觉和图像处理任务(如图像/视频异常、不规则和突发事件检测)密切相关。最近,深度神经网络(DNNs)提供了一组高性能的解决方案,但代价是高昂的计算成本。然而,在前面提出的方法和可应用的实际方法之间有一个明显的差距。

考虑到对AD的关注是一个持续的具有挑战性的问题,尤其是在图像和视频中,是时候讨论一下试图处理视觉AD任务的方法的陷阱和前景了。因此,在本次综述中,我们打算对基于图像/视频深度学习的AD方法进行深入调研。并对当前面临的挑战和未来的研究方向进行了深入探讨。

引言

异常检测(AD)是指检测出可用的训练数据中很少出现甚至不存在的样本和事件。事实上,AD就是寻找看不见的概念的过程。一般来说,在AD环境中,有大量的数据实例遵循目标类分布,即正常数据。另一方面,属于分布外类(离群值)的样本不存在,或者很难访问,但代价是很高的计算成本。总之,任何未知的分布都可能导致异常,从而导致非常复杂的学习过程。因此,研究人员建议将所有正常数据中的共享概念提取为一个(几个)参考模型,而不是学习不规则性[Bertini et al., 2012; Sabokrou et al., 2015]。在测试阶段,一个实例与该模型的偏差表明它是否是异常。图1显示了AD概念的总体草图。

就数据类型而言,AD任务可能会遇到各种困难。AD算法普遍存在的缺点是: (1)高误报率: 在大多数AD应用中,检测异常事件被认为比识别正常数据更为重要和关键。例如,在监视系统中,如果只忽略一个异常行为,即将异常检测为正常事件,就会完全损害监视系统的可靠性和安全性。因此,为了自信地检测出所有的离群值,容忍更多一点的假阳性率是合理的。然而,高的误报率带来了不可靠和无效,(2) 高的计算成本: 以前的大多数工作过于复杂,无法在现实应用中快速而恰当地进行操作,(3) 标准数据集无法用于评估: 可用数据集与现实情况相差甚远。事实上,为了全面研究该研究领域提出的解决方案,获得更真实和有代表性的数据集是至关重要的。上述缺点证实AD任务面临着若干需要有效解决的持续挑战。此外,最近提出的方法只关注简单场景中的性能。考虑图像/视频AD方法的不同方面是一个关键的步骤,以改善目前的尖端技术。

受深度神经网络(DNNs)在不同研究领域的巨大成功的启发,一系列基于深度学习的解决方案被提出来处理AD任务。他们中的一些人取得了很大的成绩。然而,实现和再现性方面的困难,特别是基于生成对抗网络(GANs)的困难[Goodfellow等人,2014a],以及高计算开销仍然被认为是严重的挑战。调查的范围。到目前为止,已经提供了一些信息丰富和有价值的调查。我们简要地提一下这一领域的一些最新作品。[Chlapathy and Chawla, 2019]关注深度AD用于不同的任务,如入侵检测系统、视频监控、医疗等。[Ruff et al., 2019]提出了深度AD的框架以及一般半监督的深度AD问题的实验场景。针对视频AD的不同深度学习检测技术已由[Suarez and Naval Jr, 2020]涵盖。

为了弥补现有的差距,我们提出了一种新的基于深度学习的图像/视频AD分类方法。我们强调无监督方法,因为他们的普遍性,适用性在现实问题和日益流行。在具体研究了每一种类别和最新的方法之后,我们表达了图像/视频AD任务中具有挑战性的方面、开放的问题和未来工作的有效方向。

成为VIP会员查看完整内容
37

相关内容

在数据挖掘中,异常检测(英语:anomaly detection)对不符合预期模式或数据集中其他项目的项目、事件或观测值的识别。通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题。异常也被称为离群值、新奇、噪声、偏差和例外。 特别是在检测滥用与网络入侵时,有趣性对象往往不是罕见对象,但却是超出预料的突发活动。这种模式不遵循通常统计定义中把异常点看作是罕见对象,于是许多异常检测方法(特别是无监督的方法)将对此类数据失效,除非进行了合适的聚集。相反,聚类分析算法可能可以检测出这些模式形成的微聚类。 有三大类异常检测方法。[1] 在假设数据集中大多数实例都是正常的前提下,无监督异常检测方法能通过寻找与其他数据最不匹配的实例来检测出未标记测试数据的异常。监督式异常检测方法需要一个已经被标记“正常”与“异常”的数据集,并涉及到训练分类器(与许多其他的统计分类问题的关键区别是异常检测的内在不均衡性)。半监督式异常检测方法根据一个给定的正常训练数据集创建一个表示正常行为的模型,然后检测由学习模型生成的测试实例的可能性。
「深度图像检索: 2012到2020」大综述论文,21页pdf
专知会员服务
41+阅读 · 2021年1月30日
最新《深度学习视频异常检测》2020综述论文,21页pdf
专知会员服务
84+阅读 · 2020年9月30日
专知会员服务
64+阅读 · 2020年9月10日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
84+阅读 · 2020年9月6日
最新《多任务学习》综述,39页pdf
专知会员服务
263+阅读 · 2020年7月10日
最新《深度多模态数据分析》综述论文,26页pdf
专知会员服务
298+阅读 · 2020年6月16日
最新《Deepfakes:创造与检测》2020综述论文,36页pdf
专知会员服务
62+阅读 · 2020年5月15日
图像修复研究进展综述
专知
18+阅读 · 2021年3月9日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
最新《多任务学习》综述,39页pdf
专知
28+阅读 · 2020年7月10日
最全综述 | 图像分割算法
计算机视觉life
14+阅读 · 2019年6月20日
深度学习目标检测算法综述
AI研习社
25+阅读 · 2019年2月1日
前景目标检测的无监督学习
计算机视觉战队
9+阅读 · 2018年10月14日
学界 | 综述论文:四大类深度迁移学习
机器之心
16+阅读 · 2018年9月15日
Arxiv
16+阅读 · 2021年3月2日
Arxiv
37+阅读 · 2021年2月10日
Arxiv
35+阅读 · 2021年1月27日
One-Class Classification: A Survey
Arxiv
7+阅读 · 2021年1月8日
Arxiv
8+阅读 · 2020年10月7日
A Survey on Bayesian Deep Learning
Arxiv
63+阅读 · 2020年7月2日
Arxiv
53+阅读 · 2018年12月11日
VIP会员
相关VIP内容
「深度图像检索: 2012到2020」大综述论文,21页pdf
专知会员服务
41+阅读 · 2021年1月30日
最新《深度学习视频异常检测》2020综述论文,21页pdf
专知会员服务
84+阅读 · 2020年9月30日
专知会员服务
64+阅读 · 2020年9月10日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
84+阅读 · 2020年9月6日
最新《多任务学习》综述,39页pdf
专知会员服务
263+阅读 · 2020年7月10日
最新《深度多模态数据分析》综述论文,26页pdf
专知会员服务
298+阅读 · 2020年6月16日
最新《Deepfakes:创造与检测》2020综述论文,36页pdf
专知会员服务
62+阅读 · 2020年5月15日
相关资讯
图像修复研究进展综述
专知
18+阅读 · 2021年3月9日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
最新《多任务学习》综述,39页pdf
专知
28+阅读 · 2020年7月10日
最全综述 | 图像分割算法
计算机视觉life
14+阅读 · 2019年6月20日
深度学习目标检测算法综述
AI研习社
25+阅读 · 2019年2月1日
前景目标检测的无监督学习
计算机视觉战队
9+阅读 · 2018年10月14日
学界 | 综述论文:四大类深度迁移学习
机器之心
16+阅读 · 2018年9月15日
相关论文
Arxiv
16+阅读 · 2021年3月2日
Arxiv
37+阅读 · 2021年2月10日
Arxiv
35+阅读 · 2021年1月27日
One-Class Classification: A Survey
Arxiv
7+阅读 · 2021年1月8日
Arxiv
8+阅读 · 2020年10月7日
A Survey on Bayesian Deep Learning
Arxiv
63+阅读 · 2020年7月2日
Arxiv
53+阅读 · 2018年12月11日
微信扫码咨询专知VIP会员