【导读】图神经网络依然是当下的研究热点。来自新加坡南洋理工大学Xavier Bresson和Bengio联合发布了一篇论文《Benchmarking Graph Neural Networks》,如何构建强大的GNN成为了核心问题。什么类型的架构、第一原则或机制是通用的、可推广的、可伸缩的,可以用于大型图数据集和大型图数据集? 另一个重要的问题是如何研究和量化理论发展对GNNs的影响?基准测试为回答这些基本问题提供了一个强有力的范例。作者发现,准确地说,图卷积、各向异性扩散、剩余连接和归一化层是开发健壮的、可伸缩的GNN的通用构件

图神经网络(GNNs)已经成为分析和学习图数据的标准工具。它们已经成功地应用于无数的领域,包括化学、物理、社会科学、知识图谱、推荐和神经科学。随着这个领域的发展,识别架构和关键机制变得至关重要,这些架构和关键机制可以泛化图的大小,使我们能够处理更大、更复杂的数据集和域。不幸的是,在缺乏具有一致的实验设置和大型数据集的标准基准的情况下,评估新GNN的有效性和比较模型变得越来越困难。在这篇论文中,我们提出了一个可复制的GNN基准测试框架,为研究人员方便地添加新的数据集和模型提供了便利。我们将该基准测试框架应用于数学建模、计算机视觉、化学和组合问题等新型中型图数据集,以建立设计有效GNNs时的关键操作。准确地说,图卷积、各向异性扩散、剩余连接和归一化层是开发健壮的、可伸缩的GNN的通用构件。

自(Scarselli et al., 2009; Bruna et al., 2013; Defferrard et al., 2016; Sukhbaatar et al., 2016; Kipf & Welling, 2017; Hamilton et al., 2017)图神经网络(GNNs)近年来引起了人们极大的兴趣,开发出了很有前途的方法。随着这个领域的发展,如何构建强大的GNN成为了核心问题。什么类型的架构、第一原则或机制是通用的、可推广的、可伸缩的,可以用于大型图数据集和大型图数据集? 另一个重要的问题是如何研究和量化理论发展对GNNs的影响?基准测试为回答这些基本问题提供了一个强有力的范例。它已被证明是有益的,在几个领域的科学推动进步,确定基本的想法,并解决领域特定的问题(Weber et al., 2019)。最近,著名的2012年ImageNet (Deng et al.,2009)挑战提供了触发深度学习革命的基准数据集(Krizhevsky et al., 2012; Malik, 2017)。国际团队竞相在大型数据集上生成最佳的图像分类预测模型。自从在ImageNet上取得突破性成果以来,计算机视觉社区已经开辟了一条道路,以识别健壮的体系结构和训练深度神经网络的技术(Zeiler & Fergus, 2014; Girshick et al., 2014; Long et al., 2015; He et al., 2016)。

但是,设计成功的基准测试是非常具有挑战性的:它需要定义适当的数据集、健壮的编码接口和用于公平比较的公共实验设置,所有这些都是可重复的。这样的需求面临几个问题。首先,如何定义合适的数据集?它可能很难收集有代表性的,现实的和大规模的数据集。这是GNNs最重要的问题之一。大多数发表的论文都集中在非常小的数据集,如CORA和TU数据集(Kipf & Welling, 2017; Ying et al., 2018; Velickovi ˇ c et al. ´ , 2018; Xinyi & Chen, 2019; Xu et al., 2019; Lee et al., 2019),其中所有的gnn执行几乎相同的统计。有些与直觉相反的是,没有考虑图结构的基线表现得和GNNs一样好,有时甚至更好(Errica et al., 2019)。这就提出了开发新的、更复杂的GNN架构的必要性问题,甚至提出了使用GNNs的必要性问题(Chen et al., 2019)。例如,在Hoang & Maehara(2019)和Chen等人(2019)的近期著作中,作者分析了GNNs的容量和组成,以揭示模型在小数据集上的局限性。他们声称这些数据集不适合设计复杂的结构归纳学习架构。

GNN文献中的另一个主要问题是定义常见的实验设置。正如Errica等人(2019)所指出的,最近关于TU数据集的论文在训练、验证和测试分割以及评估协议方面没有达成共识,这使得比较新思想和架构的性能变得不公平。目前还不清楚如何执行良好的数据分割,除了随机分割之外,后者已知会提供过于乐观的预测(Lohr, 2009)。此外,不同的超参数、损失函数和学习速率时间表使得很难识别架构中的新进展。

本文的贡献如下:

  • 我们发布了一个基于PyTorch (Paszke et al., 2019)和DGL (Wang et al., 2019)库的基于GitHub的GNNs开放基准基础架构。我们专注于新用户的易用性,使新数据集和GNN模型的基准测试变得容易。

  • 我们的目标是超越流行的小型CORA和TU数据集,引入中等规模的数据集,其中包含12k-70k图,节点大小为9-500个。提出的数据集包括数学建模(随机块模型)、计算机视觉(超级像素)、组合优化(旅行商问题)和化学(分子溶解度)。

  • 我们通过建议的基准测试基础设施来确定重要的GNN构建块。图卷积、非istropic扩散、残差连接和归一化层对设计高效的GNN非常有用。

  • 我们的目标不是对已发布的GNN进行排名。为特定的任务寻找最佳模型在计算上是昂贵的(并且超出了我们的资源),因为它需要使用交叉验证对超参数值进行彻底的搜索。相反,我们为所有模型确定了一个参数预算,并分析性能趋势,以确定重要的GNN机制。

  • 数值结果完全可重复。通过运行脚本,我们可以简单地重现报告的结果。此外,基准基础设施的安装和执行在GitHub存储库中有详细的说明。

成为VIP会员查看完整内容
0
52

相关内容

消息传递被证明是一种设计图神经网络的有效方法,因为它能够利用排列等方差和对学习局部结构的归纳偏差来实现良好的泛化。然而,当前的消息传递体系结构的表达能力有限,无法学习图的基本拓扑性质。我们解决了这个问题,并提出了一个新的消息传递框架,它是强大的同时保持置换等方差。具体来说,我们以单热点编码的形式传播惟一的节点标识符,以便了解每个节点的本地上下文。我们证明了我们的模型在极限情况下是通用的,同时也是等变的。通过实验,我们发现我们的模型在预测各种图的拓扑性质方面具有优势,为新型的、功能强大的等变和计算效率的结构开辟了道路。

成为VIP会员查看完整内容
0
34

图神经网络(GNNs)是一种强大的图表示学习工具。然而,最近的研究表明,GNN很容易受到精心设计的干扰,即所谓的对抗攻击。对抗攻击可以很容易地愚弄GNN,使其无法预测后续任务。在对安全性要求很高的应用程序中应用GNN的脆弱性引起了越来越多的关注。因此,开发对抗攻击的鲁棒算法具有重要意义。为对抗攻击辩护的一个自然的想法是清理受干扰的图。很明显,真实世界的图具有一些内在的特性。例如,许多真实世界的图是低秩和稀疏的,并且两个相邻节点的特征趋于相似。事实上,我们发现,对抗攻击很可能会破坏这些图的属性。因此,在本文中,我们探讨这些性质,以防御图的对抗性攻击。特别地,我们提出了一个通用的框架Pro-GNN,它可以联合学习结构图和鲁棒图神经网络模型从摄动图的这些属性指导。在真实图上的大量实验表明,与最先进的防御方法相比,即使在图受到严重干扰的情况下,所提出的框架也能获得更好的性能。我们将Pro-GNN的实现发布到我们的DeepRobust存储库,用于对抗攻击和防御

https://github.com/DSE-MSU/DeepRobust。

复现我们的结果的具体实验设置可以在

https://github.com/ChandlerBang/Pro-GNN

概述

图是在许多领域中普遍存在的数据结构,例如化学(分子)、金融(交易网络)和社交媒体(Facebook朋友网络)。随着它们的流行,学习有效的图表示并将其应用于解决后续任务尤为重要。近年来,图神经网络(Graph Neural Networks, GNNs)在图表示学习取得了巨大的成功(Li et al., 2015;Hamilton,2017;Kipf and Welling, 2016a;Veličkovićet al ., 2018)。GNNs遵循消息传递方案(Gilmer et al., 2017),其中节点嵌入是通过聚合和转换其邻居的嵌入来获得的。由于其良好的性能,GNNs已经应用于各种分析任务,包括节点分类(Kipf和Welling, 2016a)、链接预测(Kipf和Welling, 2016b)和推荐系统(Ying et al., 2018)。

虽然已经取得了令人鼓舞的结果,但最近的研究表明,GNNs易受攻击(Jin et al., 2020;Zugner et al., 2018;Zugner Gunnemann, 2019;Dai et al., 2018;吴等,2019b)。换句话说,在图中不明显的扰动下,GNNs的性能会大大降低。这些模型缺乏健壮性,可能会对与安全和隐私相关的关键应用造成严重后果。例如,在信用卡欺诈检测中,诈骗者可以创建多个交易,只有少数高信用用户可以伪装自己,从而逃避基于GNNs的检测。因此,开发抗攻击的稳健的GNN模型具有重要意义。修改图数据可以扰乱节点特征或图结构。然而,由于结构信息的复杂性,现有的对图数据的攻击主要集中在修改图数据结构,特别是添加/删除/重连边(Xu et al., 2019)。因此,在这项工作中,我们的目标是抵御对图数据的最常见的攻击设置,即,对图结构的毒杀攻击。在这种情况下,图结构在训练GNNs之前已经修改了边,而节点特征没有改变,这已经扰乱了图结构。

设计有效防御算法的一个视角是对扰动图进行清理,如删除反向边和恢复被删除边(Zhu et al., 2019;Tang et al., 2019)。从这个角度来看,关键的挑战是我们应该遵循什么标准来清除扰动图。众所周知,真实世界的图通常具有某些特性。首先,许多真实世界的干净图是低秩和稀疏的(Zhou et al., 2013)。例如,在社交网络中,大多数个体只与少数邻居连接,影响用户之间连接的因素很少(Zhou et al., 2013; Fortunato, 2010)。其次,干净图中连接的节点可能具有相似的特征或属性(或特征平滑度)(McPherson et al., 2001)。例如,在一个引文网络中,两个相连的出版物经常共享相似的主题(Kipf Welling, 2016a)。图1演示了干净和中毒图的这些属性。具体来说,我们用了最先进的图数据中毒攻击metattack (Zugner和Gunnemann, 2019a)来扰乱图数据,并在mettack之前和之后可视化图的属性。如图(a)a所示,metattack扩大了邻接矩阵的奇异值,图(b)b说明metattack可以快速地增加邻接矩阵的秩。此外,当我们分别从摄动图中删除对抗性边和法线时,我们观察到删除对抗性边比删除法线更快地降低了秩,如图(c)c所示。另外,我们在图(d)d中描述了攻击图的连通节点特征差异的密度分布。可以看出,metattack倾向于连接特征差异较大的节点。图1的观察结果表明,对抗性攻击可能破坏这些属性。因此,这些性质有可能作为清除摄动图的指导。然而,利用这些性质来建立鲁棒图神经网络的研究还很有限。

本文旨在探讨图的稀疏性、低秩性和特征平滑性,设计鲁棒的图神经网络。请注意,还有更多的属性有待探索,我们希望将其作为未来的工作。从本质上讲,我们面临着两个挑战:(1)如何在这些属性的引导下,从中毒的图数据中学习干净的图结构;(二)如何将鲁棒图神经网络的参数与净结构联合学习。为了解决这两个问题,我们提出了一个通用的框架属性GNN (Pro-GNN)来同时从摄动图和GNN参数中学习干净的图结构,以抵御对抗攻击。在各种真实世界图形上的大量实验表明,我们提出的模型能够有效地防御不同类型的对抗攻击,并优于最先进的防御方法。

对抗性攻击会对图数据产生精心设计的扰动。我们把精心设计的扰动称为对抗性结构。对抗结构会导致GNNs的性能急剧下降。因此,为了防御竞争攻击,一种自然的策略是消除精心设计的竞争结构,同时保持固有的图结构。在本工作中,我们的目标是通过探索低秩、稀疏性和特征平滑性的图结构特性来实现这一目标。该框架的示意图如图2所示,其中黑色的边为普通边,红色的边为攻击者为降低节点分类性能而引入的对抗性边。为了抵御攻击,Pro-GNN通过保持图的低秩性、稀疏性和特征平滑性,迭代地重构干净图,以减少对抗结构的负面影响。同时,为了保证重构图能够帮助节点分类,Pro-GNN通过求解交替模式下的优化问题,同时更新重构图上的GNN参数。

图神经网络很容易被图对抗攻击所欺骗。为了防御不同类型的图对抗攻击,我们引入了一种新的防御方法Pro-GNN,该方法同时学习图结构和GNN参数。我们的实验表明,我们的模型始终优于最先进的基线,并提高了在各种对抗攻击下的整体鲁棒性。在未来,我们的目标是探索更多的属性,以进一步提高GNNs的鲁棒性。

成为VIP会员查看完整内容
0
36

图卷积运算符将深度学习的优势引入到各种以前认为无法实现的图和网格处理任务中。随着他们的不断成功,人们希望设计更强大的架构,通常是通过将现有的深度学习技术应用于非欧几里德数据。在这篇论文中,我们认为在新兴的几何深度学习领域,几何应该保持创新的主要驱动力。我们将图神经网络与广泛成功的计算机图形学和数据近似模型:径向基函数(RBFs)联系起来。我们推测,与RBFs一样,图卷积层将受益于将简单函数添加到强大的卷积内核中。我们引入了仿射跳跃连接,这是一种将全连通层与任意图卷积算子相结合而形成的新型构造块。通过实验验证了该方法的有效性,表明改进的性能不仅仅是参数数目增加的结果。在我们评估的每一项任务中,配备了仿射跳跃连接的操作人员都显著地优于他们的基本性能。形状重建,密集形状对应,和图形分类。我们希望我们的简单而有效的方法将作为一个坚实的基线,并有助于缓解未来在图神经网络的研究。

成为VIP会员查看完整内容
0
45

课程介绍: 最近,图神经网络 (GNN) 在各个领域越来越受到欢迎,包括社交网络、知识图谱、推荐系统,甚至生命科学。GNN 在对图形中节点间的依赖关系进行建模方面能力强大,使得图分析相关的研究领域取得了突破性进展。本次课程对比传统的卷积神经网络以及图谱图卷积与空间图卷积,从理论知识入手,并结合相关论文进行详细讲解。

主讲人: Xavier Bresson,人工智能/深度学习方面的顶级研究员,培训师和顾问。在“图深度学习”上的NeurIPS'17和CVPR'17(2019年顶级人工智能会议排名)上的演讲者,在剑桥,加州大学洛杉矶分校,布朗,清华,庞加莱,海德堡等地进行了30多次国际演讲。

课程大纲:

  • 传统卷积神经网络
  • 谱图图卷积
  • 空间图卷积
  • 总结
成为VIP会员查看完整内容
0
215

Deep Learning based Recommender System: A Survey and New Perspectives

随着在线信息量的不断增长,推荐系统已成为克服此类信息过载的有效策略。鉴于其在许多网络应用中的广泛采用,以及其改善与过度选择相关的许多问题的潜在影响,推荐系统的实用性不容小觑。近年来,深度学习在计算机视觉和自然语言处理等许多研究领域引起了相当大的兴趣,不仅归功于出色的表现,而且还具有从头开始学习特征表征的吸引人的特性。深度学习的影响也很普遍,最近证明了它在应用于信息检索和推荐系统研究时的有效性。显然,推荐系统中的深度学习领域正在蓬勃发展。本文旨在全面回顾最近基于深度学习的推荐系统的研究工作。更具体地说,我们提供并设计了基于深度学习的推荐模型的分类,并提供了最新技术的综合摘要。最后,我们扩展了当前的趋势,并提供了有关该领域新的令人兴奋的发展的新观点。

成为VIP会员查看完整内容
0
148
小贴士
相关主题
相关VIP内容
相关论文
A Collective Learning Framework to Boost GNN Expressiveness
Mengyue Hang,Jennifer Neville,Bruno Ribeiro
19+阅读 · 2020年3月26日
Jianzhu Guo,Xiangyu Zhu,Chenxu Zhao,Dong Cao,Zhen Lei,Stan Z. Li
5+阅读 · 2020年3月17日
Hao Peng,Jianxin Li,Qiran Gong,Senzhang Wang,Yuanxing Ning,Philip S. Yu
5+阅读 · 2019年2月25日
Yanbin Liu,Juho Lee,Minseop Park,Saehoon Kim,Eunho Yang,Sungju Hwang,Yi Yang
20+阅读 · 2018年12月25日
Deep Graph Infomax
Petar Veličković,William Fedus,William L. Hamilton,Pietro Liò,Yoshua Bengio,R Devon Hjelm
9+阅读 · 2018年12月21日
Keyulu Xu,Weihua Hu,Jure Leskovec,Stefanie Jegelka
18+阅读 · 2018年10月1日
Yong Wang,Xiao-Ming Wu,Qimai Li,Jiatao Gu,Wangmeng Xiang,Lei Zhang,Victor O. K. Li
9+阅读 · 2018年7月8日
Hierarchical Graph Representation Learning with Differentiable Pooling
Rex Ying,Jiaxuan You,Christopher Morris,Xiang Ren,William L. Hamilton,Jure Leskovec
10+阅读 · 2018年6月26日
Wentong Liao,Michael Ying Yang,Ni Zhan,Bodo Rosenhahn
3+阅读 · 2018年2月9日
Jiankang Deng,Jia Guo,Stefanos Zafeiriou
5+阅读 · 2018年1月23日
Top
微信扫码咨询专知VIP会员