【KDD2020-Tutorial】深度学习异常检测,180页ppt

2020 年 8 月 28 日 专知
【KDD2020-Tutorial】深度学习异常检测,180页ppt


异常检测已经得到了广泛的研究和应用。建立一个有效的异常检测系统需要研究者和开发者从嘈杂的数据中学习复杂的结构,识别动态异常模式,用有限的标签检测异常。与经典方法相比,近年来深度学习技术的进步极大地提高了异常检测的性能,并将异常检测扩展到广泛的应用领域。本教程将帮助读者全面理解各种应用领域中基于深度学习的异常检测技术。首先,我们概述了异常检测问题,介绍了在深度模型时代之前采用的方法,并列出了它们所面临的挑战。然后我们调查了最先进的深度学习模型,范围从构建块神经网络结构,如MLP, CNN,和LSTM,到更复杂的结构,如自动编码器,生成模型(VAE, GAN,基于流的模型),到深度单类检测模型,等等。此外,我们举例说明了迁移学习和强化学习等技术如何在异常检测问题中改善标签稀疏性问题,以及在实际中如何收集和充分利用用户标签。其次,我们讨论来自LinkedIn内外的真实世界用例。本教程最后讨论了未来的趋势。


https://sites.google.com/view/kdd2020deepeye/home



Part 1. Introduction (30 min)


    • 1.1. Overview of Anomaly Detection

    • 1.2. Anomaly Detection Application and Challenges

    • 1.3. Traditional Techniques and Motivation for Deep Learning

Part 2. Deep Learning for Anomaly Detection (90 min)


    • a. Integrated Semi-Supervised Learning

    • b. Data Augmentation and Transfer Learning

    • a. Deep One-Class Models (Deep OC)

    • b. AutoEncoder (AE)

    • c. Variational AutoEncoder (VAE)

    • d. Generative Adversarial Networks (VAE, GAN, Flow-based)

    • a. MultiLayer Perceptron (MLP)

    • b. Convolutional Neural Networks (CNN)

    • c. Recurrent Neural Networks (RNN)

    • 2.1. Basic Building Blocks

    • 2.2 Fundamental Model Structures Applied to Anomaly Detection Tasks

    • 2.3. Compensate for Sparse Labels

Part 3. Real-world Applications for Anomaly Detection (50 min)


    • Algorithms and Evaluation

    • System Architecture

    • Usability in Production

    • 3.1 Anomaly Detection for Autonomous Vehicle Development

    • 3.2 Anomaly Detection at LinkedIn

Part 4. Conclusion and Future Trends (10 min)



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“DLAD” 可以获取《【KDD2020-Tutorial】深度学习异常检测,180页ppt》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
24

相关内容

在数据挖掘中,异常检测(英语:anomaly detection)对不符合预期模式或数据集中其他项目的项目、事件或观测值的识别。通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题。异常也被称为离群值、新奇、噪声、偏差和例外。 特别是在检测滥用与网络入侵时,有趣性对象往往不是罕见对象,但却是超出预料的突发活动。这种模式不遵循通常统计定义中把异常点看作是罕见对象,于是许多异常检测方法(特别是无监督的方法)将对此类数据失效,除非进行了合适的聚集。相反,聚类分析算法可能可以检测出这些模式形成的微聚类。 有三大类异常检测方法。[1] 在假设数据集中大多数实例都是正常的前提下,无监督异常检测方法能通过寻找与其他数据最不匹配的实例来检测出未标记测试数据的异常。监督式异常检测方法需要一个已经被标记“正常”与“异常”的数据集,并涉及到训练分类器(与许多其他的统计分类问题的关键区别是异常检测的内在不均衡性)。半监督式异常检测方法根据一个给定的正常训练数据集创建一个表示正常行为的模型,然后检测由学习模型生成的测试实例的可能性。

能够解释机器学习模型的预测在医疗诊断或自主系统等关键应用中是很重要的。深度非线性ML模型的兴起,在预测方面取得了巨大的进展。然而,我们不希望如此高的准确性以牺牲可解释性为代价。结果,可解释AI (XAI)领域出现了,并产生了一系列能够解释复杂和多样化的ML模型的方法。

在本教程中,我们结构化地概述了在深度神经网络(DNNs)的背景下为XAI提出的基本方法。特别地,我们提出了这些方法的动机,它们的优点/缺点和它们的理论基础。我们还展示了如何扩展和应用它们,使它们在现实场景中发挥最大的作用。

本教程针对的是核心和应用的ML研究人员。核心机器学习研究人员可能会有兴趣了解不同解释方法之间的联系,以及广泛的开放问题集,特别是如何将XAI扩展到新的ML算法。应用ML研究人员可能会发现,理解标准验证程序背后的强大假设是很有趣的,以及为什么可解释性对进一步验证他们的模型是有用的。他们可能还会发现新的工具来分析他们的数据并从中提取见解。参与者将受益于技术背景(计算机科学或工程)和基本的ML训练。

目录内容:

Part 1: Introduction to XAI (WS) 可解释人工智能

  • Motivations for XAI
  • Methods and Validation of XAI
  • The Clever Hans Effect

Part 2: Methods for Explaining DNNs (GM) 可解释深度神经网络方法

  • Self-Explainable DNNs
  • Perturbation-Based Explanation Techniques
  • Propagation-Based Explanation Techniques

Part 3: Implementation, Theory, Evaluation, Extensions (GM) 实现,理论、评价

  • Implementating XAI Techniques for DNNs
  • Theoretical Embedding of XAI
  • Desiderata of XAI Techniques and Evaluation
  • Extending XAI Beyond Heatmaps and DNNs

Part 4: Applications (WS) 应用

  • Walk-Through Examples
  • Debugging Large Datasets (Meta-Explanations and "Unhansing")
  • XAI in the Sciences
成为VIP会员查看完整内容
0
55

第14届推荐系统顶级会议ACM RecSys在9月22日到26日在线举行。来自意大利Polytechnic University of Turin做了关于对抗推荐系统的教程《Adversarial Learning for Recommendation: Applications for Security and Generative Tasks – Concept to Code》,186页ppt,干货内容,值得关注。

https://recsys.acm.org/recsys20/tutorials/#content-tab-1-3-tab

对抗式机器学习(AML)是从识别计算机视觉任务中的漏洞(如图像分类)开始,研究现代机器学习(ML)推荐系统中的安全问题的研究领域。

在本教程中,我们将全面概述AML技术在双重分类中的应用:(i)用于攻击/防御目的的AML,以及(ii)用于构建基于GAN的推荐模型的AML。此外,我们将把RS中的AML表示与两个实际操作会话(分别针对前面的分类)集成在一起,以显示AML应用程序的有效性,并在许多推荐任务中推进新的想法和进展。

本教程分为四个部分。首先,我们总结了目前最先进的推荐模型,包括深度学习模型,并定义了AML的基本原理。在此基础上,我们提出了针对RSs的攻击/防御策略的对抗性推荐框架和基于GAN实践环节。最后,我们总结了这两种应用的开放挑战和可能的未来工作。

成为VIP会员查看完整内容
0
37

视频中的异常检测是一个研究了十多年的问题。这一领域因其广泛的适用性而引起了研究者的兴趣。正因为如此,多年来出现了一系列广泛的方法,这些方法从基于统计的方法到基于机器学习的方法。在这一领域已经进行了大量的综述,但本文着重介绍了使用深度学习进行异常检测领域的最新进展。深度学习已成功应用于人工智能的许多领域,如计算机视觉、自然语言处理等。然而,这项调查关注的是深度学习是如何改进的,并为视频异常检测领域提供了更多的见解。本文针对不同的深度学习方法提供了一个分类。此外,还讨论了常用的数据集以及常用的评价指标。然后,对最近的研究方法进行了综合讨论,以提供未来研究的方向和可能的领域。

https://arxiv.org/abs/2009.14146

成为VIP会员查看完整内容
0
53

从社交网络到分子,许多真实数据都是以非网格对象的形式出现的,比如图。最近,从网格数据(例如图像)到图深度学习受到了机器学习和数据挖掘领域前所未有的关注,这导致了一个新的跨领域研究——深度图学习(DGL)。DGL的目标不是繁琐的特征工程,而是以端到端方式学习图的信息性表示。它在节点/图分类、链接预测等任务中都取得了显著的成功。

在本教程中,我们的目的是提供一个深入的图学习的全面介绍。首先介绍了深度图学习的理论基础,重点描述了各种图神经网络模型(GNNs)。然后介绍DGL近年来的主要成就。具体来说,我们讨论了四个主题:1)深度GNN的训练; 2) GNNs的鲁棒性; 3) GNN的可扩展性; 4) GNN的自监督和无监督学习。最后,我们将介绍DGL在各个领域的应用,包括但不限于药物发现、计算机视觉、医学图像分析、社会网络分析、自然语言处理和推荐。

https://ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目录: 01:00 pm – 01:30 pm: Brief History of Graph Neural Networks 图神经网络简介 01:30 pm – 02:00 pm: Expressivity of GNNs GNNs表达性 02:00 pm – 02:45 pm: Training Deep GNNs 深度GNNs训练 02:45 pm – 03:10 pm: Break 03:15 pm – 03:45 pm: Scalability of GNNs GNNs可扩展性 03:45 pm – 04:15 pm: Self/Un-Supervised Learning of GNNs GNNs自(无)监督学习 04:15 pm – 04:35 pm: GNN in Social Networks 社交网络GNN 04:35 pm – 04:55 pm: GNN in Medical Imaging & Future Directions GNNs图像处理与未来方向 04:55 pm – 05:00 pm: Q&A

成为VIP会员查看完整内容
0
104

从社交网络到分子,许多真实数据都是以非网格对象的形式出现的,比如图。最近,从网格数据(例如图像)到图深度学习受到了机器学习和数据挖掘领域前所未有的关注,这导致了一个新的跨领域研究——深度图学习(DGL)。DGL的目标不是繁琐的特征工程,而是以端到端方式学习图的信息性表示。它在节点/图分类、链接预测等任务中都取得了显著的成功。

在本教程中,我们的目的是提供一个深入的图学习的全面介绍。首先介绍了深度图学习的理论基础,重点描述了各种图神经网络模型(GNNs)。然后介绍DGL近年来的主要成就。具体来说,我们讨论了四个主题:1)深度GNN的训练; 2) GNNs的鲁棒性; 3) GNN的可扩展性; 4) GNN的自监督和无监督学习。最后,我们将介绍DGL在各个领域的应用,包括但不限于药物发现、计算机视觉、医学图像分析、社会网络分析、自然语言处理和推荐。

https://ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目录:

  • 08:10 am – 09:00 am: Introduction to Graphs and Graph Neural Networks 图神经网络介绍
  • 09:00 am – 09:40 am: Robustness of Graph Neural Networks 图神经网络鲁棒性
  • 09:40 am – 10:00 am: Break
  • 10:00 am – 10:40 am: Self-Supervised Learning for Graph Neural Network I 图神经网络自监督学习
  • 10:40 am – 11:20 am: Scalable Learning for Graph Neural Networks & Healthcare 图神经网络可扩展学习
  • 11:20 am – 00:15 pm: Graph Structure Learning & NLP 图结构学习
成为VIP会员查看完整内容
0
53

在当今的信息和计算社会中,复杂系统常常被建模为与异质结构关系、非结构化属性/内容、时间上下文或它们的组合相关联的多模态网络。多模态网络中丰富的信息要求在进行特征工程时既要有一个领域的理解,又要有一个大的探索性搜索空间,以建立针对不同目的的定制化智能解决方案。因此,在多模态网络中,通过表示学习自动发现特征已成为许多应用的必要。在本教程中,我们系统地回顾了多模态网络表示学习的领域,包括一系列最近的方法和应用。这些方法将分别从无监督、半监督和监督学习的角度进行分类和介绍,并分别给出相应的实际应用。最后,我们总结了本教程并进行了公开讨论。本教程的作者是这一领域活跃且富有成效的研究人员。

https://chuxuzhang.github.io/KDD20_Tutorial.html

  • Part 1: Introduction and Overview 导论与概述 (Nitesh Chawla) (1:00-1:10pm) [slide] [video]
  • Part 2: Supervised Methods and Applications 监督方法与应用 2-1: User and behavior modeling (Meng Jiang) (1:10-1- :50pm) [slide] [video] 2-2: Cybersecurity and health intelligence (Yanfang Ye) (1:50-2:20pm) [slide] [video] 2-3: Relation learning (Chuxu Zhang) (2:20-2:35pm) [slide] [video] Coffee Break (2:35-3:00pm)
  • Part 3: Semi-supervised Methods and Applications 半监督方法与应用 3-1: Attributed network embedding (Xiangliang Zhang) (3:00-3:25pm) [slide] [video] 3-2: Graph alignment (Xiangliang Zhang) (3:25-3:40pm) [slide] [video]
  • Part 4: Unsupervised Methods and Applications 无监督方法与应用 4-1: Heterogeneous graph representation learning (Chuxu Zhang) (3:40-4:00pm) [slide] [video] 4-2: Graph neural network for dynamic graph and unsupervised anomaly detection (Meng Jiang) (4:00-4:20pm) [slide] [video] Part 5: Conclusions (Chuxu Zhang) (4:20-5:00pm) [slide] [video] 结论
成为VIP会员查看完整内容
0
95

深度神经网络(DNN)在各个领域的大量机器学习任务中取得了前所未有的成功。然而,在将DNN模型应用于诸如自动驾驶汽车和恶意软件检测等安全关键任务时,存在的一些反面例子给我们带来了很大的犹豫。这些对抗例子都是故意制作的实例,无论是出现在火车上还是测试阶段,都可以欺骗DNN模型,使其犯下严重错误。因此,人们致力于设计更健壮的模型来抵御对抗的例子,但它们通常会被新的更强大的攻击击垮。这种对抗性的攻击和防御之间的军备竞赛近年来受到越来越多的关注。**在本教程中,我们将全面概述对抗性攻击的前沿和进展,以及它们的对策。特别地,我们详细介绍了不同场景下的不同类型的攻击,包括闪避和中毒攻击,白盒和黑盒攻击。**我们还将讨论防御策略如何发展以对抗这些攻击,以及新的攻击如何出现以打破这些防御。此外,我们将讨论在其他数据域中的敌对攻击和防御,特别是在图结构数据中。然后介绍了Pytorch对抗式学习图书馆DeepRobust,旨在为该研究领域的发展搭建一个全面、易用的平台。最后,我们通过讨论对抗性攻击和防御的开放问题和挑战来总结本教程。通过我们的教程,我们的观众可以掌握对抗性攻击和防御之间的主要思想和关键方法。

目录内容: Part 1. Introduction about adversarial examples and robustness. Part 2. Algorithms for generating adversarial examples. Part 3. Defending algorithms and adaptive attacks. Part 4. Adversarial learning in Graph domain. Part 5. DeepRobust-- A Pytorch Repository for Adversarial learning.

成为VIP会员查看完整内容
0
48

ACM SIGKDD(ACM SIGKDD Conference on Knowledge Discovery and Data Mining,国际数据挖掘与知识发现大会,简称 KDD)是数据挖掘领域国际顶级学术会议,今年的KDD大会将于8月23日至27日在线上召开。宾夕法尼亚州立大学ZhenhuiLi, Huaxiu Yao, Fenglong Ma等做了关于小数据学习《Learning with Small Data》教程,116页ppt涵盖迁移学习与元学习等最新课题,是非常好的学习材料!

摘要:

在大数据时代,数据驱动的方法在图像识别、交通信号控制、假新闻检测等各种应用中越来越受欢迎。这些数据驱动方法的优越性能依赖于大规模的标记训练数据,而实际应用中可能无法获得这些数据,即“小(标记)数据”挑战。例如,预测一个城市的突发事件,发现新出现的假新闻,以及预测罕见疾病的病情发展。在大多数情况下,人们最关心的是这些小数据案例,因此提高带有小标记数据的机器学习算法的学习效率一直是一个热门的研究课题。在本教程中,我们将回顾使用小数据进行学习的最新的机器学习技术。这些技术被组织从两个方面: (1) 提供一个全面的回顾最近的研究关于知识的泛化,迁移,和共享,其中迁移学习,多任务学习,元学习被讨论。特别是元学习,提高了模型的泛化能力,近年来已被证明是一种有效的方法; (2) 引入前沿技术,着重于将领域知识融入机器学习模型中。与基于模型的知识迁移技术不同,在现实应用中,领域知识(如物理定律)为我们提供了一个处理小数据挑战的新角度。具体地说,领域知识可以用来优化学习策略和/或指导模型设计。在数据挖掘领域,我们认为小数据学习是一个具有重要社会影响的热门话题,将吸引学术界和产业界的研究者和从业者。

目录:

地址:

https://sites.psu.edu/kdd20tutorial/

成为VIP会员查看完整内容
0
14

本教程探索了两个研究领域,即永无休止的学习(NEL)和问题回答(QA)。NEL系统[2]是一种非常高级的计算机系统,它可以随着时间的推移而在解决任务方面变得更好。不同的NEL方法被提出并应用于不同的任务和领域,其结果还不能推广到每个领域,但鼓励我们不断解决如何构建能够利用NEL原则的计算机系统的问题。将NEL原则应用于ML模型并不总是那么简单。在本教程中,我们希望展示(通过实际示例和支持的理论、算法和模型)如何以NEL的方式对问题建模,并帮助KDD社区熟悉这些方法。

我们日常生活中出现了许多问答系统(如IBM Watson、亚马逊Alexa、苹果Siri、MS Cortana、谷歌Home等),以及最近发布的专注于开放领域问答的新的、更大的数据集,这些都促使人们对问答和能够执行问答的系统越来越感兴趣。但是,尽管过去几年取得了进步,开放领域的问题回答模型还不能取得与人类性能相媲美的结果。因此,开放域QA往往是用NEL方法建模的一个很好的候选对象。本教程旨在使与会者能够:

  • 更好地了解当前NEL和QA方面的最新技术。
  • 学习如何使用NEL方法建模ML问题。
  • 准备好跟随NEL-QA的想法,并提出新的方法来提高QA系统的性能。
成为VIP会员查看完整内容
0
36
小贴士
相关VIP内容
专知会员服务
55+阅读 · 2020年10月13日
专知会员服务
37+阅读 · 2020年10月10日
专知会员服务
53+阅读 · 2020年9月30日
专知会员服务
104+阅读 · 2020年8月30日
专知会员服务
53+阅读 · 2020年8月30日
专知会员服务
95+阅读 · 2020年8月26日
专知会员服务
36+阅读 · 2020年8月23日
专知会员服务
40+阅读 · 2020年8月5日
相关论文
Small-Object Detection in Remote Sensing Images with End-to-End Edge-Enhanced GAN and Object Detector Network
Jakaria Rabbi,Nilanjan Ray,Matthias Schubert,Subir Chowdhury,Dennis Chao
3+阅读 · 2020年4月14日
Anomalous Instance Detection in Deep Learning: A Survey
Saikiran Bulusu,Bhavya Kailkhura,Bo Li,Pramod K. Varshney,Dawn Song
23+阅读 · 2020年3月16日
Self-Attention Graph Pooling
Junhyun Lee,Inyeop Lee,Jaewoo Kang
9+阅读 · 2019年6月13日
Ayush Tewari,Florian Bernard,Pablo Garrido,Gaurav Bharaj,Mohamed Elgharib,Hans-Peter Seidel,Patrick Pérez,Michael Zollhöfer,Christian Theobalt
5+阅读 · 2018年12月18日
Wenhui Zhang,Tejas Mahale
3+阅读 · 2018年12月13日
Ziwei Zhang,Peng Cui,Wenwu Zhu
40+阅读 · 2018年12月11日
Deep Adaptive Proposal Network for Object Detection in Optical Remote Sensing Images
Lin Cheng,Xu Liu,Lingling Li,Licheng Jiao,Xu Tang
4+阅读 · 2018年7月19日
Hierarchical Graph Representation Learning with Differentiable Pooling
Rex Ying,Jiaxuan You,Christopher Morris,Xiang Ren,William L. Hamilton,Jure Leskovec
10+阅读 · 2018年6月26日
George De Ath,Richard Everson
9+阅读 · 2018年5月22日
Xiaowei Hu,Xuemiao Xu,Yongjie Xiao,Hao Chen,Shengfeng He,Jing Qin,Pheng-Ann Heng
9+阅读 · 2018年5月16日
Top