We present the mathematical analysis of the Isolation Random Forest Method (IRF Method) for anomaly detection, introduced in {\sc F.~T. Liu, K.~M. Ting, Z.-H. Zhou:}, {\it Isolation-based anomaly detection}, TKDD 6 (2012) 3:1--3:39. We prove that the IRF space can be endowed with a probability induced by the Isolation Tree algorithm (iTree). In this setting, the convergence of the IRF method is proved, using the Law of Large Numbers. A couple of counterexamples are presented to show that the method is inconclusive and no certificate of quality can be given, when using it as a means to detect anomalies. Hence, a more robust version of the method is proposed whose mathematical foundation is fully justified. Finally, numerical experiments are presented to compare the performance of the classic method with the proposed one.


翻译:我们展示了用于异常现象检测的孤立随机森林法(IRF方法)的数学分析,该方法引入于 ~T. Liu, K~M. Ting, Z.-H. Zhou:}, ~Isetation-异常现象检测}, TKDD 6 (2012) 3:1--3:39。我们证明隔离树算法(iTree)可以给IRF空间带来一个概率。在这种背景下,使用大数字法证明了IRF方法的趋同。提供了一些对应示例,以表明该方法在用作异常现象检测手段时是没有结果的,而且没有提供质量证书。因此,提出了一种更可靠的方法版本,其数学基础是完全合理的。最后,进行了数字实验,以比较经典方法的性能与拟议方法的性能。

0
下载
关闭预览

相关内容

异常值检测是数据挖掘中数据准备的重要环节 ,也 是学界探讨和研究的内容 。目前主要有3种策略 : (1)统计法:对样本总体分布作出假设的基础上,构造如四分位点、标准差等统计量进行检测,主要适用于单属性值的情况。 (2)距离法:将两个样本视为维空间的两点,计算两点间的Minkowski,Chebyshev或Mahalanobis距离来度量,此方法 能够应用 于多元 数值 ,但 没有综合考虑总体分布的因素,导致 太依赖于参数的选择。 (3)分类法: 建立分类模 型判断数据类别,以认定其是否与总体偏 离 ,一般 需要有大量样本集 以训练分类模型,并且此方法判断的颗粒度较大,相对于精细的数据要求显得误判率较高。
强化学习最新教程,17页pdf
专知会员服务
180+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
异常检测论文大列表:方法、应用、综述
专知
126+阅读 · 2019年7月15日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
11+阅读 · 2018年3月15日
【学习】(Python)SVM数据分类
机器学习研究会
6+阅读 · 2017年10月15日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Anomalous Instance Detection in Deep Learning: A Survey
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
Arxiv
4+阅读 · 2018年10月5日
Arxiv
3+阅读 · 2017年12月14日
VIP会员
相关资讯
异常检测论文大列表:方法、应用、综述
专知
126+阅读 · 2019年7月15日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
11+阅读 · 2018年3月15日
【学习】(Python)SVM数据分类
机器学习研究会
6+阅读 · 2017年10月15日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Anomalous Instance Detection in Deep Learning: A Survey
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
Arxiv
4+阅读 · 2018年10月5日
Arxiv
3+阅读 · 2017年12月14日
Top
微信扫码咨询专知VIP会员