Graph Neural Networks (GNNs) are increasingly important given their popularity and the diversity of applications. Yet, existing studies of their vulnerability to adversarial attacks rely on relatively small graphs. We address this gap and study how to attack and defend GNNs at scale. We propose two sparsity-aware first-order optimization attacks that maintain an efficient representation despite optimizing over a number of parameters which is quadratic in the number of nodes. We show that common surrogate losses are not well-suited for global attacks on GNNs. Our alternatives can double the attack strength. Moreover, to improve GNNs' reliability we design a robust aggregation function, Soft Median, resulting in an effective defense at all scales. We evaluate our attacks and defense with standard GNNs on graphs more than 100 times larger compared to previous work. We even scale one order of magnitude further by extending our techniques to a scalable GNN.


翻译:神经网络(GNNs)由于其广受欢迎和应用的多样性,其重要性日益增强。然而,关于它们易受对抗性攻击的脆弱性的现有研究依赖于相对较小的图表。我们解决了这一差距,并研究如何大规模攻击和捍卫GNS。我们提议了两起超度意识第一阶优化攻击,尽管在节点数量方面对若干四级参数进行了优化,但仍保持了有效的代表性。我们表明,共同代用损失并不适合于全球攻击GNS。我们的替代方法可以使攻击强度增加一倍。此外,为了提高GNNNs的可靠性,我们设计了一个强大的聚合功能,Soft Meden, 在所有尺度上都产生了有效的防御。我们用标准GNNs的图形对攻击和防御进行了评估,这些图形比以往工作大100倍以上。我们甚至将技术推广到可扩展的GNNN值,从而进一步提升一个数量级。

2
下载
关闭预览

相关内容

【图与几何深度学习】Graph and geometric deep learning,49页ppt
专知会员服务
37+阅读 · 2020年11月24日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
154+阅读 · 2020年5月26日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Arxiv
7+阅读 · 2021年7月5日
Arxiv
13+阅读 · 2021年6月14日
Arxiv
8+阅读 · 2021年5月9日
Arxiv
4+阅读 · 2020年10月18日
Arxiv
24+阅读 · 2018年10月24日
Arxiv
23+阅读 · 2018年10月1日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
相关论文
Arxiv
7+阅读 · 2021年7月5日
Arxiv
13+阅读 · 2021年6月14日
Arxiv
8+阅读 · 2021年5月9日
Arxiv
4+阅读 · 2020年10月18日
Arxiv
24+阅读 · 2018年10月24日
Arxiv
23+阅读 · 2018年10月1日
Top
微信扫码咨询专知VIP会员