AAAI22 | 面向图数据的对抗鲁棒性研究

2021 年 12 月 28 日 图与推荐

题目:面向图数据的对抗鲁棒性研究(Unsupervised Adversarially Robust Representation Learning on Graphs)

作者:许嘉蓉(复旦大学),杨洋(浙江大学),陈俊儒(浙江大学), 江鑫(UCLA),王春平(信也科技),卢建刚(浙江大学),孙怡舟(UCLA)

会议:AAAI Conference on Artificial Intelligence, 2022


论文简介


无监督/自监督的图预训练模型近几年受到了众多关注,并且可以推广到各种不同的下游应用中。然而,图预训练模型的对抗鲁棒性仍未被探索。并且,大多现有研究只考虑了有监督学习下端到端图模型的鲁棒性,它们对标签信息的依赖在很大程度上限制了应用范围和可用性。例如,在没有标签的下游任务(如社交网络中的社区识别任务)中,这些模型往往表现不佳。此外,针对不同的下游任务训练多个图模型不但成本较高而且很不安全。相对而言,如图1所示,在无监督的图预训练框架中,我们只需要一个鲁棒的图编码器就能够有效防止对抗风险传播到下游任务中,并且图编码器学习得到的鲁棒图表征可以适用于不同的下游应用中,比如节点分类、链接预测和社区识别等。


图1:对抗攻击下的图预训练框架

研究无监督图预训练模型的鲁棒性时,存在许多有趣但具有挑战性的问题。在以往的研究中,模型的鲁棒性通常定义在标签空间上,即现有网络鲁棒性度量需要依据样本的预测结果或标签进行计算,并不适用于本文的无监督设置。而在无监督图表征模型中,如何在表征空间上定义鲁棒性度量要第一个挑战。

为了应对上述挑战,文章首先提出了一个基于信息论的图编码器鲁棒性衡量指标:图表征脆弱性(graph representation vulnerability, GRV)。其次,文章将鲁棒性学习问题形式化为一个优化问题,保证了图编码器的强表征能力和高鲁棒性。但是,如何有效地计算或逼近该优化问题的目标函数是要第二个挑战。该挑战的难点在于:一方面,优化问题的目标函数非常难解;另一方面,如何在联合输入空间(由网络结构和节点特征组成)中描述攻击能力并确定扰动边界也同样棘手。

为了解决以上问题,文章采用概率分布之间的 Wasserstein 距离来量化攻击能力,并提供了一个搜索攻击策略的高效近似方案。其次,文章采用投影梯度下降法(projected gradient descent, PGD)的变种来解决所提出的优化问题。 最终,本文在对抗环境中能够学得一个高质量的鲁棒图编码器。此外,文章进一步探索了GRV和下游任务分类器的鲁棒性之间的理论联系。为了验证所提出模型的有效性和实用性,本文将学习到的鲁棒图表征应用于三个不同的下游任务中,与最优基准方法相比,本文提出的鲁棒图表征模型在节点分类、链接预测和社区识别任务中分别提升了+1.8%、+1.8% 和 +45.8% 的性能。

 
 


图表征脆弱性


本文认为如果攻击前后的网络和其表征之间的互信息足够接近,那么图编码器就足够鲁棒。文章首先提出图表征脆弱性(graph representation vulnerability, GRV)来量化无监督图编码器的鲁棒性,GRV定义如下: 

其中,   是服从原始数据分布的随机变量,   是服从对抗数据分布的随机变量。上式第一项是原始网络和其表征之间的互信息,第二项是最坏情况下的对抗网络和其表征之间的互信息。GRV的值越低,图编码器更为鲁棒。

 


优化问题


本文通过以下优化问题对模型鲁棒性和表征能力进行权衡: 

但是实际情况下,“最鲁棒”的图编码器(即GRV=0)通常不是最理想的。举例来说,“最鲁棒”图编码器的一个实例为常量映射(constant map),即无论图编码器的输入是什么,它总是输出相同的表征,但是这显然是文章想要得到的鲁棒图编码器。因此,一个“足够鲁棒”的编码器已经绰绰有余了,甚至是一个更好的选择。由此,文章添加了一个软间隔(soft-margin),得到以下优化问题: 

当   时,可简化为: 

 (具体求解过程见原论文)


图表征脆弱性和标签空间的理论联系


本节为图表征脆弱性和下游任务鲁棒性(以AG为例)建立了如下理论联系:





实验结果


不同下游任务中模型的对抗鲁棒性:如表2所示,文章提出的模型在节点分类、链接预测和社区识别任务上分别比最优基准方法平均高出了+1.8%、+1.8% 和+45.8%。

表2:节点分类、链接预测和社区识别任务中的对抗鲁棒性

不同攻击强度下的模型鲁棒性:如图2所示,文章提出的模型在不同的攻击强度下始终优于基准方法。

图2:不同攻击强度下的节点分类性能

不同攻击策略下的模型鲁棒性:在实际场景中,防御端往往对攻击者的攻击策略一无所知,因此探讨模型在不同攻击策略下的鲁棒性十分重要。表3的结果佐证了文章提出的模型能够进一步抵御不同的攻击策略。

表3:不同攻击策略下的节点分类性能


登录查看更多
1

相关内容

AAAI 2022|对抗攻击鲁棒的异质图神经网络
专知会员服务
35+阅读 · 2022年3月28日
AAAI 2022 | 面向图数据的对抗鲁棒性研究
专知会员服务
20+阅读 · 2022年1月4日
专知会员服务
31+阅读 · 2021年8月7日
专知会员服务
38+阅读 · 2021年6月13日
专知会员服务
95+阅读 · 2021年5月25日
专知会员服务
20+阅读 · 2021年2月7日
【AAAI2021】小样本学习多标签意图检测
专知会员服务
54+阅读 · 2020年12月8日
【WSDM2021】保存节点相似性的图卷积网络
专知会员服务
40+阅读 · 2020年11月22日
近期必读的8篇 AAAI 2020【图神经网络(GNN)】相关论文
专知会员服务
76+阅读 · 2020年1月15日
AAAI 2022|对抗攻击鲁棒的异质图神经网络
专知
3+阅读 · 2022年3月29日
AAAI 2022 | 面向图数据的对抗鲁棒性研究
专知
1+阅读 · 2022年1月4日
AAAI21 | 基于块(Block)建模理论图神经网络
图与推荐
0+阅读 · 2021年12月28日
TKDE'21 | 面向大规模图数据的对抗攻击
图与推荐
0+阅读 · 2021年10月22日
2021 | 异质图神经网络最新进展
图与推荐
3+阅读 · 2021年9月28日
KDD 2019论文解读:异构信息网络上的对抗生成学习
云栖社区
22+阅读 · 2019年8月21日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
9+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Arxiv
13+阅读 · 2022年1月20日
Principal Neighbourhood Aggregation for Graph Nets
Arxiv
17+阅读 · 2020年6月7日
A Comprehensive Survey on Graph Neural Networks
Arxiv
13+阅读 · 2019年3月10日
VIP会员
相关VIP内容
AAAI 2022|对抗攻击鲁棒的异质图神经网络
专知会员服务
35+阅读 · 2022年3月28日
AAAI 2022 | 面向图数据的对抗鲁棒性研究
专知会员服务
20+阅读 · 2022年1月4日
专知会员服务
31+阅读 · 2021年8月7日
专知会员服务
38+阅读 · 2021年6月13日
专知会员服务
95+阅读 · 2021年5月25日
专知会员服务
20+阅读 · 2021年2月7日
【AAAI2021】小样本学习多标签意图检测
专知会员服务
54+阅读 · 2020年12月8日
【WSDM2021】保存节点相似性的图卷积网络
专知会员服务
40+阅读 · 2020年11月22日
近期必读的8篇 AAAI 2020【图神经网络(GNN)】相关论文
专知会员服务
76+阅读 · 2020年1月15日
相关资讯
AAAI 2022|对抗攻击鲁棒的异质图神经网络
专知
3+阅读 · 2022年3月29日
AAAI 2022 | 面向图数据的对抗鲁棒性研究
专知
1+阅读 · 2022年1月4日
AAAI21 | 基于块(Block)建模理论图神经网络
图与推荐
0+阅读 · 2021年12月28日
TKDE'21 | 面向大规模图数据的对抗攻击
图与推荐
0+阅读 · 2021年10月22日
2021 | 异质图神经网络最新进展
图与推荐
3+阅读 · 2021年9月28日
KDD 2019论文解读:异构信息网络上的对抗生成学习
云栖社区
22+阅读 · 2019年8月21日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
9+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员