在数据挖掘中,异常检测(英语:anomaly detection)对不符合预期模式或数据集中其他项目的项目、事件或观测值的识别。通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题。异常也被称为离群值、新奇、噪声、偏差和例外。 特别是在检测滥用与网络入侵时,有趣性对象往往不是罕见对象,但却是超出预料的突发活动。这种模式不遵循通常统计定义中把异常点看作是罕见对象,于是许多异常检测方法(特别是无监督的方法)将对此类数据失效,除非进行了合适的聚集。相反,聚类分析算法可能可以检测出这些模式形成的微聚类。 有三大类异常检测方法。[1] 在假设数据集中大多数实例都是正常的前提下,无监督异常检测方法能通过寻找与其他数据最不匹配的实例来检测出未标记测试数据的异常。监督式异常检测方法需要一个已经被标记“正常”与“异常”的数据集,并涉及到训练分类器(与许多其他的统计分类问题的关键区别是异常检测的内在不均衡性)。半监督式异常检测方法根据一个给定的正常训练数据集创建一个表示正常行为的模型,然后检测由学习模型生成的测试实例的可能性。

精品内容

大型语言模型在预测和异常检测中的应用综述
专知会员服务
57+阅读 · 2月19日
【WWW2024】知识数据对齐的弱监督异常检测
专知会员服务
19+阅读 · 2月7日
【NeurIPS2023】朝向自解释的图级异常检测
专知会员服务
27+阅读 · 2023年10月26日
【博士论文】学习表征以检测新颖性和异常性,72页pdf
专知会员服务
17+阅读 · 2023年9月30日
《从人际互动中学习理解异常场景》美陆军2023最新报告
《基于高斯混合流和入包的异常检测》2023最新57页论文
专知会员服务
26+阅读 · 2023年5月15日
参考链接
微信扫码咨询专知VIP会员