AAAI 2022 | 对抗攻击鲁棒的异质图神经网络

作者 | 焦子豪

单位 | 南京邮电大学

来源 | MIND Laboratory

论文标题：

Robust Heterogeneous Graph Neural Networks against Adversarial Attacks

收录来源：

AAAI 2022

论文来源：

https://www.aaai.org/AAAI22Papers/AAAI-11130.ZhangM.pdf

论文介绍

异质图神经网络 (Heterogeneous Graph Neural Networks, HGNNs) 近年来受到越来越多的关注，并在许多任务上取得了杰出的表现。然而其对对抗攻击的鲁棒性不是很好。本文介绍并解释了 HGNN 不能很好应对对抗攻击的两大原因：扰动放大效应 (perturbation enlargement effect) 和软注意力机制 (soft attention mechanism)。

接着提出了新的鲁棒 HGNN 框架 RoHe，通过配置一个注意力净化器，可以根据拓扑和特征对恶意邻居进行剪枝。具体来说，为了解决对抗扰动的放大效应，本文引入基于元路径的转移概率作为净化器的先验，抑制恶意邻居对于对抗 hub 邻居的信心。然后，净化器会学着 mask 掉低置信度的邻居，从而消除软注意机制中恶意邻居的负面影响。

问题描述

真实世界中有很多数据集可以利用异质图 (Heterogeneous Graphs, HGs) 进行建模。异质图中包含多种对象和联系。如图 1a，异质图中含有三类对象，分别是 Author(A)，Paper(P)，Subject(S)，以及两类联系，P-A 和 P-S。由于异质图中包含丰富的高阶结构信息，元路径 (metapath) 可被用于描述这样的信息，比如 P-A-P (同一作者发表的论文) 和 P-S-P (同一主题下的论文)。

为了测试 HGNN 的鲁棒性，在 ACM 数据集上进行逃逸对抗攻击测试(在测试阶段进行扰动)，测试结果如图 1b 所示。与 GCN 的准确性仅下降 3 个点相比，所有的 HGNN (HAN, MAGNN, GTN) 的表现均大幅下降，平均为 28 个点。这表明 HGNN 相比 GCN 对于对抗攻击的鲁棒性较差。

如图 1a 所示，一个对抗攻击的例子是在原有的异质图中添加一条不存在的边 (p1, a3, 红色虚线)，这将会导致恶意的论文结点 p4-p66 在元路径 P-A-P 下成为 p1 的直接邻居。即使它们被分配了较小的注意值，它们仍然可以主导 HAN 中的接受域。

 

本文认为，HGNN 的这种脆弱性可被归纳为以下两个原因：

1. 扰动放大效应 Perturbation enlargement effect：如图 1d 所示，HGNN 会在很大程度上放大对抗 hub 结点（即拥有 large degree 的结点）的恶意效应，而 GCN 不会。原因是 HGNN 由于采用元路径，将 p4-p66 看作是 p1 的直接邻居。

2. 软注意力机制 Soft Attention Mechanism：如图 1c，尽管离 p1 较近的结点被分配了较大的注意力值，但是由于边 (p1,a3) 引入的大量恶意结点尽管每个的注意力值较小，但数量远远超过 p1 的原本邻居，导致恶意结点产生的注意力值居主导地位。

模型方法

为了减少扰动的放大效应，RoHe 引入了一个转移概率作为我们的净化器的先验，降低对抗 hub 邻居的置信度。然后，基于转移概率和特征相似性对感受域进行收缩，mask 掉置信度很低的邻居，解决了软注意力机制不能彻底消除对抗边的问题。最后，利用净化后的注意力聚合所有元路径的邻居信息，将这些元路径进行语义级聚合，最终生成下游任务的节点嵌入。图 2 是 RoHe 的整体框架。

3.1 结点特征映射

由于不同种类的结点的特征可能拥有不同的维度，因此 HGNN 通常将不同类结点的特征投影到一个共同的空间上：

其中 是特定的转换矩阵。

3.2 基于特征的相似性

给定元路径 Φ，基于拥有相似特征的结点更可能比不相似的结点更重要这一假设，本文构建在元路径 Φ 下，目标节点 v 的邻居 u 到其的重要性描述：

在传统的结点水平注意力机制中，基于特征的重要性 将被直接通过 softmax 被归一化，获得最终的软注意力值 。本文认为 仅仅考虑了结点的特征信息，从拓扑学的角度，给予多跳邻居 相同的重要程度，这将导致放大恶意节点的影响。

为了解决上述问题，本文引入了一个可微的净化器来 mask 掉中置信度较低的邻居中的邻居。具体地说，本文首先利用基于元路径的转移概率作为置信度的先验来消除扰动放大问题。

3.3 转移概率先验

给定元路径   ，为了对   上的转移概率进行编码，首先计算联系     的转移概率矩阵   ， 每个元素   表示从结点   通过联系   转移到   的概率值。进而采用   作为转移概率先验。

3.4 置信度

基于转移概率先验 ，为了判定不可靠的邻居，本文计算邻居 的可信度向量 ，通过聚合特征相似度 和 ：

3.5 净化mask

本文通过构建一个 mask 向量  来对 mask 操作进行建模，对于目标结点 的所有邻居，有：

其中 是要保留的邻居数量 ，   返回的是基于其置信度 的前个最可信的邻居。进而其他邻居将会通过设定其 mask 值为 而被移除掉。

因此，我们可以使用来屏蔽大量的对抗性/噪声邻居，通过 softmax 函数得到：

通过这种方法，增强结点水平的注意力，对转移概率进行编码，筛选出前T个最可靠的邻居，缓解了扰动增强和软注意力机制的问题：

3.6 邻居的聚合

最终净化后的注意力值 将会被用于语义水平嵌入 ：

本文的算法如图所示：

实验

RoHe 在 HAN 上的对抗防御效果实验：在三个数据集上的不同程度的攻击实验证明了 RoHe 的防御能力。其中 Δ 含义是对抗攻击的边数。

RoHe 在 HAN, MAGNN, GTN 上的防御实验：证明了 RoHe 的泛化性。

随机噪声测试：

总结

本文介绍了对于异质图神经网络 HGNN 的对抗攻击鲁棒性研究，并分析了其弱点的原因。提出了有效的鲁棒 HGNN 框架 RoHe，特点是拥有注意力净化器。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·