中山大学发布最新《图对抗机器学习》2020综述论文,带你全面了解40+种攻防对抗学习方法

2020 年 3 月 13 日 专知
中山大学发布最新《图对抗机器学习》2020综述论文,带你全面了解40+种攻防对抗学习方法
【导读】对抗攻击防御研究用于提升深度学习的鲁棒性,是当下的关注焦点。最近,中山大学等学者发布了最新关于图对抗学习综述论文,19页pdf83篇文献,对在图形分析任务中对现有的攻防工作进行了梳理和统一,同时给出了适当的定义和分类。此外,我们强调了相关评价指标的重要性,并对其进行了全面的调查和总结


图数据的深度学习模型在节点分类、链路预测、图数据聚类等各种图数据分析任务中都取得了显著的效果。然而,它们暴露了对于设计良好输入的不确定性和不可靠性, 对抗样本。因此,在不同的图数据分析任务中,出现了各种攻击和防御的研究,从而导致了图数据对抗学习中的竞争。例如,攻击者有投毒和逃避攻击,防御组相应地有基于预处理和对抗的方法。

尽管工作蓬勃发展,但仍然缺乏统一的问题定义和全面的调研综述。为了弥补这一不足,我们对已有的关于图对抗学习任务的研究进行了系统的总结。具体来说,我们在图形分析任务中对现有的攻防工作进行了梳理和统一,同时给出了适当的定义和分类。此外,我们强调了相关评价指标的重要性,并对其进行了全面的调查和总结。希望我们的工作可以为相关研究者提供参考,为他们的研究提供帮助。更多关于我们工作的细节,

地址:
https://www.zhuanzhi.ai/paper/d3c6ab73e330a4095be601732e9ea322
https://github.com/gitgiter/Graph-Adversarial-Learning



在过去的几十年里,深度学习已经成为人工智能领域的皇冠上的宝石,在语音和语言处理[72,18]、人脸识别[45]和目标检测[33]等各种应用中都表现出了令人印象深刻的表现。然而,最近频繁使用的深度学习模型被证明是不稳定和不可靠的,因为它们容易受到干扰。例如,一张图片上几个像素的细微变化,对于人眼来说是难以察觉的,但是对于深度学习模型[44]的输出却有很大的影响。此时,定义良好并通过反向传播学习的深度学习模型具有固有的盲点和非直观特征,应该以明显的[59]方式推广到数据分布中。

图作为一种强大的表示方法,在现实的[25]中有着重要的作用和广泛的应用。当然,深度学习对图形的研究也是一个热门话题,并在不同的领域带来了许多令人耳目一新的实现,如社交网络[46]、电子商务网络[64]和推荐系统[14,71]。不幸的是,作为机器学习关键领域的图分析领域也暴露了深度学习模型在受到精心设计的攻击时的脆弱性[81,83]。例如,考虑到节点分类的任务,攻击者通常控制多个假节点,目的是欺骗目标分类器,通过在这些节点与其他良性节点之间添加或删除边缘,从而导致误分类。通常,这些恶意节点被称为“攻击者节点”,而其他受害节点被称为“受影响节点”。如图1所示,在一个干净的图上执行了小的扰动(增加了两个链接,改变了几个节点的特征),这导致了图学习模型的错误分类。


图1:由于图结构和节点特征的微小扰动而导致的对目标的错误分类

随着对图数据模型安全性的日益关注,图数据对抗学习的研究也随之兴起。,一个研究图数据模型安全性和脆弱性的领域。一方面,从攻击图数据学习模型的角度出发,[81]首先研究了图数据的对抗性攻击,在节点特征和图结构受干扰较小的情况下,目标分类器容易对指定的节点进行欺骗和误分类。另一方面,[65]提出了一种改进的图卷积网络(GCNs)模型,该模型具有对抗防御框架,以提高鲁棒性。此外,[55]研究了现有的图数据攻防对抗策略的工作,并讨论了它们的贡献和局限性。然而,这些研究主要集中在对抗性攻击方面,而对防御方面的研究较少。

挑战 尽管关于图表对抗学习的研究大量涌现,但仍然存在一些需要解决的问题。i) 统一与具体的形式化。目前的研究都是将图对抗学习的问题定义和假设用自己的数学形式化来考虑,大多没有详细的解释,这使得比较和跟进更加困难。ii) 相关评价指标。而对于不同的任务,对应性能的评价指标也有很大的不同,甚至有不同的标准化。此外,图对抗学习场景的特殊度量还没有被探索,例如,对攻击影响的评估。

对于形式化和定义不一致的问题,我们考察了现有的攻防工作,给出了统一的定义,并从不同的角度进行了划分。虽然已经有了一些努力[81,37,19]来概括定义,但大多数形式化仍然对自己的模型进行定制。到目前为止,只有一篇文章[55]从综述的角度概述了这些概念,这不足以全面总结现有的工作。在前人研究的基础上,我们总结了不同类型的图,并按层次介绍了三个主要任务,分别在3.1节和4.1节给出了攻击和防御的统一形式化定义。

自然地,不同的模型伴随着许多量化的方法,其中提供了一些新的度量。为了帮助研究人员更好地量化他们的模型,也为了系统地总结度量标准,我们在第5节中对度量标准进行了更详细的讨论。特别地,我们首先介绍了防御和攻击的一些常见度量,然后介绍了它们各自工作中提供的三个类别的度量:有效性、效率和不可感知性。例如,攻击成功率(ASR)[9]和平均防御率(ADR)[10]分别被用来衡量攻击和防御的有效性。

综上所述,我们的贡献如下:

  • 我们深入研究了这一领域的相关工作,并对当前防御和攻击任务中不统一的概念给出了统一的问题形式化和明确的定义。

  • 我们总结了现有工作的核心贡献,并根据防御和攻击任务中合理的标准,从不同的角度对其进行了系统的分类。

  • 我们强调了相关指标的重要性,并对其进行了全面的调研和总结。

  • 针对这一新兴的研究领域,我们指出了现有研究的局限性,并提出了一些有待解决的问题


图对抗学习-攻击代表性工作
图对抗学习-防御代表性工作
论文贴图:


专知便捷查看
便捷下载,请关注专知公众号(点击上方蓝色专知关注)
  • 后台回复“ GAL ” 就可以获取 中山大学发布最新《图对抗机器学习》2020综述论文,带你全面了解40+种攻防对抗学习方法 》论文专知下载链接

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
12

相关内容

对抗学习是一种机器学习技术,旨在通过提供欺骗性输入来欺骗模型。最常见的原因是导致机器学习模型出现故障。大多数机器学习技术旨在处理特定的问题集,其中从相同的统计分布(IID)生成训练和测试数据。当这些模型应用于现实世界时,对手可能会提供违反该统计假设的数据。可以安排此数据来利用特定漏洞并破坏结果。

【导读】现有的机器学习方法在很多场景下需要依赖大量的训练样本。但机器学习方法是否可以模仿人类,基于先验知识等,只基于少量的样本就可以进行学习。本文介绍34页小样本学习综述《Generalizing from a Few Examples: A Survey on Few-Shot Learning》,包含166篇参考文献,来自第四范式和香港科技大学习的研究学者。

小样本学习综述 Few-shot Learning: A Survey

【摘要】机器学习在数据密集型应用中非常成功,但当数据集很小时,它常常受到阻碍。为了解决这一问题,近年来提出了小样本学习(FSL)。利用先验知识,FSL可以快速地泛化到只包含少量有监督信息的样本的新任务中。在这篇论文中,我们进行了一个彻底的调研,以充分了解FSL。从FSL的正式定义出发,我们将FSL与几个相关的机器学习问题区分开来。然后指出了FSL的核心问题是经验风险最小化是不可靠的。基于先验知识如何处理这一核心问题,我们从三个角度对FSL方法进行了分类: (i) 数据,它使用先验知识来增加监督经验;(二) 利用先验知识缩小假设空间大小的模型;(iii)算法,利用先验知识在给定的假设空间中改变对最佳假设的搜索。有了这种分类法,我们就可以回顾和讨论每个类别的优缺点。在FSL问题的设置、技术、应用和理论方面也提出了有前景的方向,为未来的研究提供了见解。

  • 我们给出了FSL的形式化定义。它可以自然地链接到以往文献中提出的经典机器学习定义。这个定义不仅足够概括,包括所有现有的FSL -shot Learning: A Survey problems,而且足够具体,明确了什么是FSL的目标,以及我们如何解决它。这一定义有助于确定未来FSL领域的研究目标。

  • 指出了基于误差分解的FSL在机器学习中的核心问题。我们发现,正是不可靠的经验风险最小化使得FSL难以学习。这可以通过满足或降低学习的样本复杂度来缓解。理解核心问题有助于根据解决核心问题的方式将不同的工作分类为数据、模型和算法。更重要的是,这为更有组织和系统地改进FSL方法提供了见解。

  • 我们对从FSL诞生到最近发表的文献进行了广泛的回顾,并将它们进行了统一的分类。对不同类别的优缺点进行了深入的讨论。我们还对每个类别下的见解进行了总结。这对于初学者和有经验的研究人员都是一个很好的指导方针。

  • 我们在问题设置、技术、应用和理论方面展望了FSL未来的四个发展方向。这些见解都是基于当前FSL发展的不足之处,并有可能在未来进行探索。我们希望这部分能够提供一些见解,为解决FSL问题做出贡献,为真正的AI而努力。

  • 与已有的关于小样本概念学习和经验学习的FSL相关调相比,我们给出了什么是FSL,为什么FSL很难,以及FSL如何将小样本监督信息与先验知识结合起来使学习成为可能的正式定义。我们进行了广泛的文献审查的基础上提出的分类法与详细讨论的利弊,总结和见解。我们还讨论了FSL与半监督学习、不平衡学习、迁移学习和元学习等相关话题之间的联系和区别

成为VIP会员查看完整内容
0
155

准确地估计一幅图像中物体的数量是一项具有挑战性而又有意义的工作,并已在城市规划和公共安全等诸多领域得到了应用。在各种对象计数任务中,人群计数因其对社会保障和发展的特殊意义而显得尤为突出。幸运的是,人群计数技术的发展可以推广到其他相关领域,如车辆计数和环境调查,如果不考虑他们的特点。因此,许多研究者致力于人群计数,涌现出许多优秀成果。在这些工作中,它们对人群计数的发展一定是有帮助的。然而,我们应该考虑的问题是,为什么它们对这项任务是有效的。由于时间和精力的限制,我们无法分析所有的算法。在本文中,我们调查了220+工作,对人群计数模型进行了全面、系统的研究,主要是基于CNN的密度图估计方法。最后,根据评价指标,我们在人群统计数据集中选取了表现最好的前三名,并对其优缺点进行了分析。通过我们的分析,我们希望对人群计数的未来发展做出合理的推断和预测,同时也可以为其他领域的对象计数问题提供可行的解决方案。我们提供了NWPU数据集验证集中一些主流算法的密度图和预测结果,以供比较和测试。同时,还提供了密度图生成和评价工具。所有的代码和评估结果在https://github.com/guangshuai/survey-forcrowd -counting上公开。

概述

在过去的几十年里,越来越多的研究社区将物体计数问题作为主要的研究方向,因此,许多作品被发表来计算图像或视频中物体的数量,这些作品跨越了各种各样的领域,如人群计数,细胞显微,树叶,环境调查。在所有这些领域中,人群计数是至关重要的,在一些人群场景中,如人群分析和视频监控中,人群计数对于构建更高层次的认知能力至关重要。随着世界人口的不断增长和随之而来的城市化,在许多场合,如游行、音乐会和体育场,人群迅速聚集。在这些场景中,人群计数对于社会安全和控制管理起着不可或缺的作用。

考虑到上述人群计数的特殊重要性,越来越多的研究人员尝试设计各种复杂的项目来解决人群计数的问题。特别是在过去的五年中,随着深度学习的出现,基于卷积神经网络(CNNs)的模型在各种计算机视觉任务中占据了压倒性的主导地位,包括人群计数。虽然不同的任务有其独特的属性,但也存在共同的特征,如结构特征和分布模式。幸运的是,人群计数技术可以通过特定的工具扩展到其他领域。因此,本文希望通过对人群计数任务的深度挖掘,特别是基于CNN的密度估计和人群计数模型,为其他任务提供合理的解决方案。我们的调查旨在涉及各个部分,从一些有趣的尚未探索的研究方向的算法分类。除了对现有的基于CNN的人群计数和密度估计模型、代表数据集和评价指标进行分类审查外,还研究了一些在很大程度上影响设计模型性能的因素和属性,如干扰因素和阴性样本。我们在NWPU数据集的验证集[wang2020nwpu]中提供了一些主流算法的密度图和预测结果进行对比和测试。同时,还提供了密度图生成和评价工具。所有的代码和评估结果在https://github.com/guangshuai/survey-forcrowd -counting上公开。

本文贡献:

  • 全面、系统地从各个方面进行综述。我们根据网络结构、监督形式、学习范式等几个分类对基于cnn的模型进行了分类。分类可以通过对基于cnn的方法的关键技术的深入了解来激励研究。

  • 基于属性的性能分析。在分析SOTA方法性能的基础上,分析了SOTA方法性能良好的原因和使用的技术。此外,我们还讨论了促使研究人员设计更有效算法的各种挑战因素。

  • 开放的问题和未来的方向。通过对模型设计、数据集收集和一些具有领域自适应或迁移学习的其他领域的推广等重要问题的研究,探索了未来一些有前景的研究方向。

成为VIP会员查看完整内容
0
33

【简介】深度神经网络(DNNs)在各项任务上都取得了不俗的表现。然而,最近的研究表明通过对输入进行很小的扰动就可以轻易的骗过DNNs,这被称作对抗式攻击。作为DNNs在图上的扩展,图神经网络(GNNs)也继承了这一缺陷。对手通过修改图中的一些边等操作来改变图的结构可以误导GNNs作出错误的预测。这一漏洞已经引起了人们对在安全领域关键应用中采用GNNs的极大关注,并在近年来引起了越来越多的人的研究兴趣。因此,对目前的图对抗式攻击和反制措施进行一个全面的梳理和回顾是相当有必要的。在这篇综述中,我们对目前的攻击和防御进行了分类,以及回顾了相关表现优异的模型。最后,我们开发了一个具有代表性算法的知识库,该知识库可以使我们进行相关的研究来加深我们对基于图的攻击和防御的理解。

成为VIP会员查看完整内容
0
42

3D点云学习( Point Clouds)作为近年来的研究热点之一,受到了广泛关注,每年在各大会议上都有大量的相关文章发表。当前,点云上的深度学习变得越来越流行,人们提出了许多方法来解决这一领域的不同问题。国防科技大学郭裕兰老师课题组新出的这篇论文对近几年点云深度学习方法进行了全面综述,是第一篇全面涵盖多个重要点云相关任务的深度学习方法的综述论文,包括三维形状分类、三维目标检测与跟踪、三维点云分割等,并对点云深度学习的机制和策略进行全面的归纳和解读,帮助读者更好地了解当前的研究现状和思路。也提供了现有方法在几个可公开获得的数据集上的全面比较,最后也介绍了未来的研究方向。

【摘要】点云学习近年来受到越来越多的关注,因为它在许多领域都有广泛的应用,比如计算机视觉、自动驾驶和机器人技术。作为人工智能的主要技术之一,深度学习已经成功地用于解决各种二维视觉问题。然而,由于使用深度神经网络处理点云所面临的独特挑战,对点云的深度学习仍处于起步阶段。最近,点云上的深度学习变得越来越流行,人们提出了许多方法来解决这一领域的不同问题。为了激发未来的研究,本文对点云深度学习方法的最新进展进行了综述。它涵盖了三个主要任务,包括三维形状分类,三维目标检测和跟踪以及三维点云分割。我们还提供了一些可公开获得的数据集的比较结果,以及有见地的观察和启发性的未来研究方向。

引言

3D数据在不同的领域有许多应用,包括自动驾驶、机器人、遥感、医疗和设计行业[4]。近年来,深度学习技术在计算机视觉、语音识别、自然语言处理(NLP)、生物信息学等研究领域占据主导地位。但是,在三维点云上进行深度学习仍然面临数个重大挑战[5],例如数据集规模小,维数高和三维点云的非结构化性质。在此基础上,本文重点分析了用于处理三维点云的深度学习方法。

一些公开的数据集也被发布,例如ModelNet [6],ShapeNet [7],ScanNet [8],Semantic3D [9]和KITTI Vision Benchmark Suite [10]。这些数据集进一步推动了对三维点云的深度学习研究,提出了越来越多的方法来解决与点云处理相关的各种问题,包括三维形状分类、三维目标检测与跟踪、三维点云分割等。

这篇论文是第一个专门针对点云的深度学习方法的综述。此外,论文全面涵盖了分类,检测,跟踪和分割等不同应用。图1显示了三维点云的现有深度学习方法的分类。

图1:三维点云深度学习方法分类。

这项工作的主要贡献可以概括如下:

  • 1)据我们所知,这是第一篇全面涵盖多个重要点云相关任务的深度学习方法的综述论文,包括三维形状分类、三维目标检测与跟踪、三维点云分割等。

  • 2)相对于已有的综述[11],[12],我们特别关注三维点云的深度学习方法,而不是所有类型的三维数据。

  • 3)本文介绍了点云深度学习的最新进展。因此,它为读者提供了最先进的方法。

  • 4)提供了现有方法在几个可公开获得的数据集上的全面比较(例如,表1、2、3、4),并提供了简要的总结和深入的讨论。

本文的结构如下。第2节回顾了三维形状分类的方法。第3节概述了现有的三维目标检测和跟踪方法。第4节介绍了点云分割的方法,包括语义分割、实例分割和部件分割。最后,第5节总结了论文。

论文还在以下网址上提供了定期更新的项目页面:

https://github.com/QingyongHu/SoTA-Point-Cloud

图2:三维形状分类网络的时间顺序概览。

图3:PointNet的体系结构。

图4:点的局部邻居的连续和离散卷积的图解。(a)代表一个局部邻居;(b)和(c)分别表示三维连续卷积和离散卷积。

图5:基于图的网络的图解。

表1:在ModelNet10/40基准上比较三维形状分类结果。这里,我们只关注基于点的网络,“#params”表示相应模型的参数数量。“OA”表示总体精度,“mAcc”表示表中的平均精度。符号“-”表示结果不可用。

图6:按时间顺序概述的最相关的基于深度学习的三维目标检测方法。

图7:三类三维目标检测方法的典型网络。从上到下:(a)基于多视图,(b)基于分割,(c)基于视锥的方法。

表2:在KITTI测试三维检测基准上的三维目标检测结果对比。

表3:在KITTI test BEV检测基准上三维目标检测结果对比。

图8:按时间顺序概述了一些最相关的基于深度学习的点云语义分割方法。

图9:基于投影方法的中间表示图。

图10:PointNet++[27]框架的示意图。

图11:有代表性的三维点云实例分割方法的年代概述。

未来方向

表4展示了现有方法在公共基准测试上的结果,包括S3DIS[176]、Semantic3D[9]、ScanNet[102]、SemanticKITTI[177]。需要进一步研究的问题有:

  • 基于点的网络是最常被研究的方法。然而,点表示自然不具有显式的邻近信息,现有的大多数基于点的方法不得不借助于昂贵的邻近搜索机制(如KNN[52]或ball query [27])。这从本质上限制了这些方法的效率,因为邻居搜索机制既需要很高的计算成本,又需要不规则的内存访问[214]。

  • 从不平衡数据中学习仍然是点云分割中一个具有挑战性的问题。虽然有几种的方法取得了显著的综合成绩[42]、[170]、[182],但它们在类标很少的情况下表现仍然有限。例如,RandLA-Net[95]在Semantic3D的reduced-8子集上获得了76.0%的整体IoU,而在hardscape类上获得了41.1%的非常低的IoU。

  • 大多数现有的方法[5]、[27]、[52]、[170]、[171]都适用于小点云(如1m*1m,共4096个点)。在实际中,深度传感器获取的点云通常是巨大的、大规模的。因此,有必要进一步研究大规模点云的有效分割问题。

  • 已有少数文献[145]、[146]、[167]开始研究动态点云的时空信息。预期时空信息可以帮助提高后续任务的性能,如三维目标识别、分割和完成。

表4:S3DIS(包括Area5和6-fold cross validation)[176]、Semantic3D(包括semantic-8和reduced-8子集)[9]、ScanNet[8]和SemanticKITTI[177]数据集的语义分割结果对比。

结论

本文介绍了如今最先进的三维理解方法,包括三维形状分类,三维目标检测和跟踪,以及三维场景和目标分割。对这些方法进行了全面的分类和性能比较。介绍了各种方法的优缺点,并提出了今后的研究方向。

成为VIP会员查看完整内容
0
68

随着基于机器学习(ML)系统在医学、军事、汽车、基因组以及多媒体和社交网络等多种应用中的广泛应用,对抗式学习(AL)攻击(adversarial learning attacks)有很大的潜在危害。此篇AL的综述,针对统计分类器的攻击的防御。在介绍了相关术语以及攻击者和维护者的目标和可能的知识范围后,我们回顾了最近在test-time evasion (TTE)、数据中毒(DP)和反向工程(RE)攻击方面的工作,特别是针对这些攻击的防御。在此过程中,我们将鲁棒分类与异常检测(AD)、无监督和基于统计假设的防御和无攻击(no attack)假设的防御区分开来;我们识别了特定方法所需的超参数、其计算复杂性以及评估其性能的指标和质量。然后,我们深入挖掘,提供新的见解,挑战传统智慧,并针对尚未解决的问题,包括:1)稳健的分类与AD作为防御策略;2)认为攻击的成功程度随攻击强度的增加而增加,这忽略了对AD的敏感性;3)test-time evasion (TTE)攻击的小扰动:谬误或需求?4)一般假设的有效性,即攻击者知道要攻击的示例的真实程度;5)黑、灰或白盒攻击作为防御评估标准;6)基于查询的RE对广告防御的敏感性。 然后,我们给出了几种针对TTE、RE和DP攻击图像的防御的基准比较。论文最后讨论了持续的研究方向,包括检测攻击的最大挑战,其目的不是改变分类决策,而是简单地嵌入“假新闻”或其他虚假内容,而不被发现。

成为VIP会员查看完整内容
Adversarial Learning in Statistical Classification.pdf
0
18
小贴士
相关论文
Aravind Sankar,Yanhong Wu,Liang Gou,Wei Zhang,Hao Yang
43+阅读 · 2019年6月15日
Few-shot Learning: A Survey
Yaqing Wang,Quanming Yao
325+阅读 · 2019年4月10日
Transfer Adaptation Learning: A Decade Survey
Lei Zhang
30+阅读 · 2019年3月12日
Ziwei Zhang,Peng Cui,Wenwu Zhu
40+阅读 · 2018年12月11日
Joaquin Vanschoren
115+阅读 · 2018年10月8日
Ayush Jaiswal,Wael AbdAlmageed,Yue Wu,Premkumar Natarajan
3+阅读 · 2018年9月25日
Jianxun Lian,Xiaohuan Zhou,Fuzheng Zhang,Zhongxia Chen,Xing Xie,Guangzhong Sun
8+阅读 · 2018年5月30日
Peter Shaw,Jakob Uszkoreit,Ashish Vaswani
25+阅读 · 2018年4月12日
Haque Ishfaq,Assaf Hoogi,Daniel Rubin
3+阅读 · 2018年4月3日
Ashish Mishra,M Shiva Krishna Reddy,Anurag Mittal,Hema A Murthy
6+阅读 · 2018年1月27日
Top