时序数据异常检测工具/数据集大列表

2019 年 2 月 23 日 极市平台

加入极市专业CV交流群,与6000+来自腾讯,华为,百度,北大,清华,中科院等名企名校视觉开发者互动交流!更有机会与李开复老师等大牛群内互动!

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流点击文末“阅读原文”立刻申请入群~


者 | rob-med

编辑 | 小极

来源 | https://github.com/rob-med/awesome-TS-anomaly-detection

原文 | https://zhuanlan.zhihu.com/p/57432180


【导读】分享一个时序数据异常检测工具/数据集大列表,包括一些异常检测软件、相关软件和基准数据集等,GitHub地址:https://github.com/rob-med/awesome-TS-anomaly-detection


Anomaly Detection Software

Name Language Pitch License
Numenta's Nupic C++ Numenta Platform for Intelligent Computing is an implementation of Hierarchical Temporal Memory (HTM). AGPL
Etsy's Skyline Python Skyline is a real-time anomaly detection system, built to enable passive monitoring of hundreds of thousands of metrics. MIT
Twitter's AnomalyDetection R AnomalyDetection is an open-source R package to detect anomalies which is robust, from a statistical standpoint, in the presence of seasonality and an underlying trend. GPL
Netflix's Surus Java Robust Anomaly Detection (RAD) - An implementation of the Robust PCA. Apache-2.0
Lytics Anomalyzer Go Anomalyzer implements a suite of statistical tests that yield the probability that a given set of numeric input, typically a time series, contains anomalous behavior. Apache-2.0
Yahoo's EGADS Java GADS is a library that contains a number of anomaly detection techniques applicable to many use-cases in a single package with the only dependency being Java. GPL
Linkedin's luminol Python Luminol is a light weight python library for time series data analysis. The two major functionalities it supports are anomaly detection and correlation. It can be used to investigate possible causes of anomaly. Apache-2.0
Ele.me's banshee Go Anomalies detection system for periodic metrics. MIT
Mentat's datastream.io Python An open-source framework for real-time anomaly detection using Python, Elasticsearch and Kibana. Apache-2.0
Donut Python Donut is an unsupervised anomaly detection algorithm for seasonal KPIs, based on Variational Autoencoders. -
NASA's Telemanom Python A framework for using LSTMs to detect anomalies in multivariate time series data. Includes spacecraft anomaly data and experiments from the Mars Science Laboratory and SMAP missions. custom
banpei Python Outlier detection (Hotelling's theory) and Change point detection (Singular spectrum transformation) for time-series. MIT
CAD Python Contextual Anomaly Detection for real-time AD on streagming data (winner algorithm of the 2016 NAB competition). AGPL


Related Software

This section includes some time-series software for anomaly detection-related tasks, such as forecasting and labeling.


Forecasting

Name Language Pitch License
Facebook's Prophet Python/R Prophet is a procedure for forecasting time series data. It is based on an additive model where non-linear trends are fit with yearly and weekly seasonality, plus holidays. BSD
PyFlux Python The library has a good array of modern time series models, as well as a flexible array of inference options (frequentist and Bayesian) that can be applied to these models. BSD 3-Clause
Pyramid Python Porting of R's auto.arima with a scikit-learn-friendly interface. MIT
SaxPy Python General implementation of SAX, as well as HOTSAX for anomaly detection. GPLv2.0
tslearn Python tslearn is a Python package that provides machine learning tools for the analysis of time series. This package builds on scikit-learn, numpy and scipy libraries. BSD 2-Clause
seglearn Python Seglearn is a python package for machine learning time series or sequences. It provides an integrated pipeline for segmentation, feature extraction, feature processing, and final estimator. BSD 3-Clause
Tigramite Python Tigramite is a causal time series analysis python package. It allows to efficiently reconstruct causal graphs from high-dimensional time series datasets and model the obtained causal dependencies for causal mediation and prediction analyses. GPLv3.0


Labeling

Name Language Pitch License
Microsoft's Taganomaly R (dockerized web app) Simple tool for tagging time series data. Works for univariate and multivariate data, provides a reference anomaly prediction using Twitter's AnomalyDetection package. MIT
Baidu's Curve Python Curve is an open-source tool to help label anomalies on time-series data. Apache-2.0


Benchmark Datasets

  • Numenta's NAB

NAB is a novel benchmark for evaluating algorithms for anomaly detection in streaming, real-time applications. It is comprised of over 50 labeled real-world and artificial timeseries data files plus a novel scoring mechanism designed for real-time applications.


  • Yahoo's Webscope S5

The dataset consists of real and synthetic time-series with tagged anomaly points. The dataset tests the detection accuracy of various anomaly-types including outliers and change-points.





*延伸阅读

超分辨率技术如何发展?这6篇ECCV 18论文带你一次尽览

极市干货|闫霄龙-基于开源ImagePy工具的图像处理算法解析(视频+PPT)


每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流点击左下角“阅读原文”立刻申请入群~


觉得有用麻烦给个好看啦~  

登录查看更多
65

相关内容

在数据挖掘中,异常检测(英语:anomaly detection)对不符合预期模式或数据集中其他项目的项目、事件或观测值的识别。通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题。异常也被称为离群值、新奇、噪声、偏差和例外。 特别是在检测滥用与网络入侵时,有趣性对象往往不是罕见对象,但却是超出预料的突发活动。这种模式不遵循通常统计定义中把异常点看作是罕见对象,于是许多异常检测方法(特别是无监督的方法)将对此类数据失效,除非进行了合适的聚集。相反,聚类分析算法可能可以检测出这些模式形成的微聚类。 有三大类异常检测方法。[1] 在假设数据集中大多数实例都是正常的前提下,无监督异常检测方法能通过寻找与其他数据最不匹配的实例来检测出未标记测试数据的异常。监督式异常检测方法需要一个已经被标记“正常”与“异常”的数据集,并涉及到训练分类器(与许多其他的统计分类问题的关键区别是异常检测的内在不均衡性)。半监督式异常检测方法根据一个给定的正常训练数据集创建一个表示正常行为的模型,然后检测由学习模型生成的测试实例的可能性。
【经典书】统计学习导论,434页pdf,斯坦福大学
专知会员服务
227+阅读 · 2020年4月29日
MATLAB玩转深度学习?新书「MATLAB Deep Learning」162页pdf
专知会员服务
98+阅读 · 2020年1月13日
【推荐系统/计算广告/机器学习/CTR预估资料汇总】
专知会员服务
86+阅读 · 2019年10月21日
【深度学习视频分析/多模态学习资源大列表】
专知会员服务
90+阅读 · 2019年10月16日
强化学习最新教程,17页pdf
专知会员服务
167+阅读 · 2019年10月11日
TensorFlow 2.0 学习资源汇总
专知会员服务
66+阅读 · 2019年10月9日
机器学习相关资源(框架、库、软件)大列表
专知会员服务
37+阅读 · 2019年10月9日
超全的人脸识别数据集汇总,附打包下载
极市平台
90+阅读 · 2020年3月7日
多目标跟踪 近年论文及开源代码汇总
极市平台
20+阅读 · 2019年5月12日
AutoML与轻量模型大列表
专知
8+阅读 · 2019年4月29日
「Awesome」3D机器学习资源汇总
专知
7+阅读 · 2019年3月14日
【推荐】免费书(草稿):数据科学的数学基础
机器学习研究会
19+阅读 · 2017年10月1日
Arxiv
7+阅读 · 2017年12月28日
Arxiv
5+阅读 · 2016年1月15日
VIP会员
相关VIP内容
【经典书】统计学习导论,434页pdf,斯坦福大学
专知会员服务
227+阅读 · 2020年4月29日
MATLAB玩转深度学习?新书「MATLAB Deep Learning」162页pdf
专知会员服务
98+阅读 · 2020年1月13日
【推荐系统/计算广告/机器学习/CTR预估资料汇总】
专知会员服务
86+阅读 · 2019年10月21日
【深度学习视频分析/多模态学习资源大列表】
专知会员服务
90+阅读 · 2019年10月16日
强化学习最新教程,17页pdf
专知会员服务
167+阅读 · 2019年10月11日
TensorFlow 2.0 学习资源汇总
专知会员服务
66+阅读 · 2019年10月9日
机器学习相关资源(框架、库、软件)大列表
专知会员服务
37+阅读 · 2019年10月9日
相关资讯
超全的人脸识别数据集汇总,附打包下载
极市平台
90+阅读 · 2020年3月7日
多目标跟踪 近年论文及开源代码汇总
极市平台
20+阅读 · 2019年5月12日
AutoML与轻量模型大列表
专知
8+阅读 · 2019年4月29日
「Awesome」3D机器学习资源汇总
专知
7+阅读 · 2019年3月14日
【推荐】免费书(草稿):数据科学的数学基础
机器学习研究会
19+阅读 · 2017年10月1日
Top
微信扫码咨询专知VIP会员