在本教程中,我们旨在全面介绍专门为异常检测(深度异常检测)而设计的深度学习技术的进展。
深度学习在转换许多数据挖掘和机器学习任务方面取得了巨大的成功,但由于异常具有一些独特的特征,如罕见性、异质性、无限性以及收集大规模异常数据的高昂成本,目前流行的深度学习技术并不适用于异常检测。
通过本教程,读者将对该领域有一个系统的概述,了解目前最先进的12种不同类型的深度异常检测方法的主要要点、目标函数、基本假设、优缺点,并认识到其在不同领域的广泛适用性。我们还讨论了当前的深度异常检测方法可以从多个不同的角度解决和展望该领域的挑战。
任何对深度学习、异常/离群值/新奇检测、分布外检测、带有有限标记数据的表示学习以及自我监督表示学习感兴趣的读者,都会发现参加本教程非常有帮助。
金融、网络安全、医疗保健领域的研究人员和从业者也会发现该教程在实践中有帮助。
异常检测,几十年来一直是各个研究领域中一个持续而活跃的研究领域。但仍然有一些独特的问题、复杂性和挑战需要先进的方法。近年来,将深度学习应用于异常检测(即深度异常检测)已经成为关键方向。本文回顾了深度异常检测方法的研究进展,并对检测方法进行了分类,包括3个高级类别和11个细粒度类别。本文回顾了检测方法的主要intuitions、目标函数、基本假设、优势和劣势,并讨论了他们如何应对上述挑战。并且进一步讨论了一系列未来可能的机遇和应对挑战的新观点。
异常检测,又称离群值检测或新颖性检测,是指检测与大多数数据实例显著偏离的数据实例的过程。几十年来,异常探测一直是一个活跃的研究领域,早期的探测可以追溯到20世纪60年代的[52]。由于在风险管理、合规、安全、金融监控、健康和医疗风险、人工智能安全等广泛领域的需求和应用日益增长,异常检测在数据挖掘、机器学习、计算机视觉和统计等各个领域发挥着越来越重要的作用。近年来,深度学习在学习高维数据、时间数据、空间数据和图形数据等复杂数据的表达表示方面显示出了巨大的能力,推动了不同学习任务的边界。深度学习异常检测,简称深度异常检测,目的是通过神经网络学习特征表示或异常分数来进行异常检测。大量的深度异常检测方法已经被引入,在解决各种现实世界应用中具有挑战性的检测问题上,表现出比传统异常检测显著更好的性能。这项工作旨在对这一领域进行全面调研。我们首先讨论了异常检测的问题本质和主要的未解决的挑战,然后系统地回顾了当前的深度方法及其解决这些挑战的能力,最后提出了一些未来的机会。