摘要: 图异常检测旨在大图或海量图数据库中寻找“陌生”或“不寻常”模式,具有广泛的应用场景.深度学习可以从数据中学习隐含的规律,在提取数据中潜在复杂模式方面表现出优越的性能. 近年来随着基于深度神经网络的图表示学习取得显著进展,如何利用深度学习方法进行图异常检测引起了学术界和产业界的广泛关注. 尽管最近一系列研究从图的角度对异常检测技术进行了调研,但是缺少对深度学习技术下的图异常检测技术的关注. 首先给出了静态图和动态图上各类常见的异常定义,然后调研了基于深度神经网络的图表示学习方法,接着从静态图和动态图的角度出发,梳理了基于深度学习的图异常检测的研究现状,并总结了图异常检测的应用场景和相关数据集,最后讨论了图异常检测技术目前面临的挑战和未来的研究方向.

https://crad.ict.ac.cn/CN/10.7544/issn1000-1239.2021.20200685

图作为一种通用的数据结构,被广泛用于表示 复杂的结构化数据.相对于其他数据结构,它能更好 地存储和表达实体及其联系.现实世界中,图在社交 网络分析、Web网络分析、交通路网优化、知识图谱 构建等领域均有广泛的应用.针对这些语义丰富、样 式多样、规模庞大的图数据,如何快速、准确地检测 其中的异常引起了学术界和产业界的广泛关注.图 异常检测是指在一个大图或海量图数据库中寻找包 含“陌生”或者“不寻常”模式的结构(包括节点、边或 者子图),具有广泛的应用场景,例如英特网中的恶 意攻击、社交网络中的突发事件检测、电子商务中的 水军发现等.相较于传统的异常检测方法,基于图的 异常检测由于图具有强大的表达能力,不仅可以将 复杂的数据加以直观的呈现,同时也能将数据中隐 含的相关性融入到异常检测过程中.

面向图的异常检测工作最早发表于2003年[1], 现有工作大致可分为基于静态图和基于动态图 2 类.在基于静态图的异常检测工作中,一类方法利用 ego网络[2]或者基于团体[3]研究问题;一类方法基 于图的结构信息进行异常检测[4G6],也有一些工作基 于子空间选择,试图在节点特征的子空间中发现异 常[7G9].还有一些工作通过概率、统计方法获取图的 统计信息进行异常检测[10G13].尽管这些工作在异常 检测上取得了不错的进展,但这些方法如利用ego 网络的方法,由于处理图数据,必须考虑节点之间的 交互,在图较为稀疏时难以实现较好的效果;或者如 子空间选择和统计方法,由于浅层学习机制难以综 合利用节点的属性和结构信息.在基于动态图的异 常检测方面,同样有一些工作基于团体[14G15]、基于结 构[6,16]、或基于概率统计[17G19]进行异常检测.另外一 类典型的方法是首先获取图的概要,然后通过聚类 和异常 检 测 来 确 定 概 要 中 的 异 常,例 如 文 献 [20G 21],但是这些方法获得的概要无法保留重要的结构 信息,比如邻接节点的信息.现有的基于动态图的异 常检测方法大多依赖于启发式规则,通常只是简单 地考虑某一类特征;虽然有部分方法[22G23]考虑了内 容甚至时间因素,但并不灵活,导致其应用局限于特 定的场景.

近年来,深度学习成为人工智能和机器学习中极为重要的部分,在提取数据中潜在复杂模式方面 表现出优越的性能,并在音频、图像和自然语言处理 等领域得到了广泛应用.深度学习方法能够合理处 理复杂的属性信息,并且可以从数据中学习隐含的 规律;此外,通过神经网络对图进行嵌入不仅可以很 好地保留信息[24G26],还可以很好地处理节点或边的 属性,同时保留结构信息,进而方便检查隐空间中节 点或边表示的相似性.近年来随着对图进行嵌入表 示取得显著进展,如何利用深度学习方法进行图异 常检测在过去几年中吸引了广泛关注.基于深度学 习的图异常检测方法通常使用图的嵌入表示方法先 将图表示为隐空间中的向量,然后使用该向量重构 图从而剔除异常信息的影响,最后通过重构误差进 行异常检测.

关于异常和离群点检测,已经存在非常全面的 综述类文章,例如Zimek等人[27]重点介绍了关于高 维离群值检测,Schubert等人[28]讨论了局部离群值 检测技术.但是,这些文章通常关注多维数据实例的 点,没有或者不是直接地关注基于图的检测技术.尽管文献[29]从图的角度对异常检测技术进行了调 研,但是缺少对深度学习技术下的图异常检测技术 的关注.与以往关于异常检测的综述不同,本文专注 于大图或海量图数据库中的异常检测,并对基于深 度学习的图异常检测技术进行全面地梳理和总结, 是最早聚焦基于深度学习的图异常检测技术方面的研究综述.

本文首先对图上的异常定义做了全面的分析, 然后详细介绍了基于深度神经网络的图表示学习方 法,接着从静态图和动态图的角度出发,对现有基于 深度学习的图异常检测方法进行系统地总结和归 类,并讨论相关方法的局限性.接着简单介绍图异常 检测技术的实际应用场景和相关的数据集,最后讨论基于深度学习的图异常检测研究面临的挑战及未 来可行的研究方向.本文期望通过对目前基于深度 学习的图异常检测研究现状的梳理,为后续研究提 供可借鉴的思路.

成为VIP会员查看完整内容
78

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
30+阅读 · 2021年9月27日
专知会员服务
34+阅读 · 2021年8月27日
专知会员服务
27+阅读 · 2021年8月16日
专知会员服务
46+阅读 · 2021年6月26日
专知会员服务
115+阅读 · 2021年4月29日
基于深度学习的行人检测方法综述
专知会员服务
68+阅读 · 2021年4月14日
专知会员服务
44+阅读 · 2021年3月24日
专知会员服务
105+阅读 · 2020年10月27日
基于深度学习的表面缺陷检测方法综述
专知会员服务
84+阅读 · 2020年5月31日
基于深度学习的多标签生成研究进展
专知会员服务
140+阅读 · 2020年4月25日
基于深度学习的数据融合方法研究综述
专知
27+阅读 · 2020年12月10日
基于深度学习的单目深度估计综述
CVer
4+阅读 · 2020年10月6日
基于小样本学习的图像分类技术综述
专知
4+阅读 · 2020年5月6日
基于深度学习的多标签生成研究进展
专知
4+阅读 · 2020年4月25日
最全综述:基于深度学习的三维重建算法
极市平台
12+阅读 · 2020年3月17日
知识图谱嵌入(KGE):方法和应用的综述
AI科技评论
122+阅读 · 2019年8月26日
基于深度学习的视频目标检测综述
CVer
7+阅读 · 2019年6月9日
干货 | 基于深度学习的目标检测算法综述
AI科技评论
18+阅读 · 2018年9月1日
干货 | 基于深度学习的目标检测算法综述(二)
AI科技评论
21+阅读 · 2018年8月20日
Arxiv
7+阅读 · 2020年10月7日
Arxiv
91+阅读 · 2020年2月28日
Arxiv
34+阅读 · 2019年11月7日
Tutorial on NLP-Inspired Network Embedding
Arxiv
7+阅读 · 2019年10月16日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Deep Face Recognition: A Survey
Arxiv
17+阅读 · 2019年2月12日
VIP会员
相关VIP内容
专知会员服务
30+阅读 · 2021年9月27日
专知会员服务
34+阅读 · 2021年8月27日
专知会员服务
27+阅读 · 2021年8月16日
专知会员服务
46+阅读 · 2021年6月26日
专知会员服务
115+阅读 · 2021年4月29日
基于深度学习的行人检测方法综述
专知会员服务
68+阅读 · 2021年4月14日
专知会员服务
44+阅读 · 2021年3月24日
专知会员服务
105+阅读 · 2020年10月27日
基于深度学习的表面缺陷检测方法综述
专知会员服务
84+阅读 · 2020年5月31日
基于深度学习的多标签生成研究进展
专知会员服务
140+阅读 · 2020年4月25日
相关资讯
基于深度学习的数据融合方法研究综述
专知
27+阅读 · 2020年12月10日
基于深度学习的单目深度估计综述
CVer
4+阅读 · 2020年10月6日
基于小样本学习的图像分类技术综述
专知
4+阅读 · 2020年5月6日
基于深度学习的多标签生成研究进展
专知
4+阅读 · 2020年4月25日
最全综述:基于深度学习的三维重建算法
极市平台
12+阅读 · 2020年3月17日
知识图谱嵌入(KGE):方法和应用的综述
AI科技评论
122+阅读 · 2019年8月26日
基于深度学习的视频目标检测综述
CVer
7+阅读 · 2019年6月9日
干货 | 基于深度学习的目标检测算法综述
AI科技评论
18+阅读 · 2018年9月1日
干货 | 基于深度学习的目标检测算法综述(二)
AI科技评论
21+阅读 · 2018年8月20日
相关论文
Arxiv
7+阅读 · 2020年10月7日
Arxiv
91+阅读 · 2020年2月28日
Arxiv
34+阅读 · 2019年11月7日
Tutorial on NLP-Inspired Network Embedding
Arxiv
7+阅读 · 2019年10月16日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Deep Face Recognition: A Survey
Arxiv
17+阅读 · 2019年2月12日
微信扫码咨询专知VIP会员