【KDD2020-MSU】图结构学习的鲁棒图神经网络，克服对抗攻击提升GNN防御能力

2020 年 5 月 21 日 专知

【导读】图神经网络是强大的图结构数据表示学习工具。密歇根州立大学的学者探究了GNN的脆弱性，通过探索低秩、稀疏性和特征平滑性的图结构特性来实现鲁棒GNN算法并发表在KDD2020上。

图神经网络(GNNs)是一种强大的图表示学习工具。然而，最近的研究表明，GNN很容易受到精心设计的干扰，即所谓的对抗攻击。对抗攻击可以很容易地愚弄GNN，使其无法预测后续任务。在对安全性要求很高的应用程序中应用GNN的脆弱性引起了越来越多的关注。因此，开发对抗攻击的鲁棒算法具有重要意义。为对抗攻击辩护的一个自然的想法是清理受干扰的图。很明显，真实世界的图具有一些内在的特性。例如，许多真实世界的图是低秩和稀疏的，并且两个相邻节点的特征趋于相似。事实上，我们发现，对抗攻击很可能会破坏这些图的属性。因此，在本文中，我们探讨这些性质，以防御图的对抗性攻击。特别地，我们提出了一个通用的框架Pro-GNN，它可以联合学习结构图和鲁棒图神经网络模型从摄动图的这些属性指导。在真实图上的大量实验表明，与最先进的防御方法相比，即使在图受到严重干扰的情况下，所提出的框架也能获得更好的性能。我们将Pro-GNN的实现发布到我们的DeepRobust存储库，用于对抗攻击和防御

https://github.com/DSE-MSU/DeepRobust。

复现我们的结果的具体实验设置可以在

https://github.com/ChandlerBang/Pro-GNN

概述

图是在许多领域中普遍存在的数据结构，例如化学(分子)、金融(交易网络)和社交媒体(Facebook朋友网络)。随着它们的流行，学习有效的图表示并将其应用于解决后续任务尤为重要。近年来，图神经网络(Graph Neural Networks, GNNs)在图表示学习取得了巨大的成功(Li et al.， 2015;Hamilton，2017;Kipf and Welling, 2016a;Veličkovićet al ., 2018)。GNNs遵循消息传递方案(Gilmer et al.， 2017)，其中节点嵌入是通过聚合和转换其邻居的嵌入来获得的。由于其良好的性能，GNNs已经应用于各种分析任务，包括节点分类(Kipf和Welling, 2016a)、链接预测(Kipf和Welling, 2016b)和推荐系统(Ying et al.， 2018)。

虽然已经取得了令人鼓舞的结果，但最近的研究表明，GNNs易受攻击(Jin et al.， 2020;Zugner et al.， 2018;Zugner Gunnemann, 2019;Dai et al.， 2018;吴等，2019b)。换句话说，在图中不明显的扰动下，GNNs的性能会大大降低。这些模型缺乏健壮性，可能会对与安全和隐私相关的关键应用造成严重后果。例如，在信用卡欺诈检测中，诈骗者可以创建多个交易，只有少数高信用用户可以伪装自己，从而逃避基于GNNs的检测。因此，开发抗攻击的稳健的GNN模型具有重要意义。修改图数据可以扰乱节点特征或图结构。然而，由于结构信息的复杂性，现有的对图数据的攻击主要集中在修改图数据结构，特别是添加/删除/重连边(Xu et al.， 2019)。因此，在这项工作中，我们的目标是抵御对图数据的最常见的攻击设置，即，对图结构的毒杀攻击。在这种情况下，图结构在训练GNNs之前已经修改了边，而节点特征没有改变，这已经扰乱了图结构。

设计有效防御算法的一个视角是对扰动图进行清理，如删除反向边和恢复被删除边(Zhu et al.， 2019;Tang et al., 2019)。从这个角度来看，关键的挑战是我们应该遵循什么标准来清除扰动图。众所周知，真实世界的图通常具有某些特性。首先，许多真实世界的干净图是低秩和稀疏的(Zhou et al.， 2013)。例如，在社交网络中，大多数个体只与少数邻居连接，影响用户之间连接的因素很少(Zhou et al., 2013; Fortunato, 2010)。其次，干净图中连接的节点可能具有相似的特征或属性(或特征平滑度)(McPherson et al.， 2001)。例如，在一个引文网络中，两个相连的出版物经常共享相似的主题(Kipf Welling, 2016a)。图1演示了干净和中毒图的这些属性。具体来说，我们用了最先进的图数据中毒攻击metattack (Zugner和Gunnemann, 2019a)来扰乱图数据，并在mettack之前和之后可视化图的属性。如图(a)a所示，metattack扩大了邻接矩阵的奇异值，图(b)b说明metattack可以快速地增加邻接矩阵的秩。此外，当我们分别从摄动图中删除对抗性边和法线时，我们观察到删除对抗性边比删除法线更快地降低了秩，如图(c)c所示。另外，我们在图(d)d中描述了攻击图的连通节点特征差异的密度分布。可以看出，metattack倾向于连接特征差异较大的节点。图1的观察结果表明，对抗性攻击可能破坏这些属性。因此，这些性质有可能作为清除摄动图的指导。然而，利用这些性质来建立鲁棒图神经网络的研究还很有限。

本文旨在探讨图的稀疏性、低秩性和特征平滑性，设计鲁棒的图神经网络。请注意，还有更多的属性有待探索，我们希望将其作为未来的工作。从本质上讲，我们面临着两个挑战:(1)如何在这些属性的引导下，从中毒的图数据中学习干净的图结构;(二)如何将鲁棒图神经网络的参数与净结构联合学习。为了解决这两个问题，我们提出了一个通用的框架属性GNN (Pro-GNN)来同时从摄动图和GNN参数中学习干净的图结构，以抵御对抗攻击。在各种真实世界图形上的大量实验表明，我们提出的模型能够有效地防御不同类型的对抗攻击，并优于最先进的防御方法。

对抗性攻击会对图数据产生精心设计的扰动。我们把精心设计的扰动称为对抗性结构。对抗结构会导致GNNs的性能急剧下降。因此，为了防御竞争攻击，一种自然的策略是消除精心设计的竞争结构，同时保持固有的图结构。在本工作中，我们的目标是通过探索低秩、稀疏性和特征平滑性的图结构特性来实现这一目标。该框架的示意图如图2所示，其中黑色的边为普通边，红色的边为攻击者为降低节点分类性能而引入的对抗性边。为了抵御攻击，Pro-GNN通过保持图的低秩性、稀疏性和特征平滑性，迭代地重构干净图，以减少对抗结构的负面影响。同时，为了保证重构图能够帮助节点分类，Pro-GNN通过求解交替模式下的优化问题，同时更新重构图上的GNN参数。

图神经网络很容易被图对抗攻击所欺骗。为了防御不同类型的图对抗攻击，我们引入了一种新的防御方法Pro-GNN，该方法同时学习图结构和GNN参数。我们的实验表明，我们的模型始终优于最先进的基线，并提高了在各种对抗攻击下的整体鲁棒性。在未来，我们的目标是探索更多的属性，以进一步提高GNNs的鲁棒性。

专知便捷查看