题目: Graph Neural Networks: A Review of Methods and Applications

摘要: 许多学习任务都需要处理包含元素间丰富关系信息的图形数据。建模物理系统、学习分子指纹、预测蛋白质界面和疾病分类需要一个模型从图形输入中学习。在文本、图像等非结构化数据的学习等领域,对句子的依存树、图像的场景图等提取的结构进行推理是一个重要的研究课题,同时也需要建立图形推理模型。图神经网络(GNNs)是通过图节点之间的信息传递来获取图的依赖性的连接模型。与标准神经网络不同,图神经网络保留了一种状态,这种状态可以以任意深度表示来自其邻域的信息。虽然原始GNNs已经被发现很难训练到固定的点,但是最近在网络结构、优化技术和并行计算方面的进展已经使它能够成功地学习。近年来,基于图形卷积网络(GCN)、图形注意网络(GAT)、门控图形神经网络(GGNN)等图形神经网络变体的系统在上述许多任务上都表现出了突破性的性能。在这项调查中,我们提供了一个详细的检讨现有的图形神经网络模型,系统分类的应用,并提出了四个开放的问题,为今后的研究。

作者简介: Jie Zhou,CS的研究生,从事系统研究,主要研究计算机安全。他毕业于厦门大学,在罗切斯特大学获得硕士学位及博士学位。

Zhiyuan Liu,清华大学计算机系NLP实验室副教授。

成为VIP会员查看完整内容
0
105

相关内容

人工智能(Artificial Intelligence, AI )是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支。

题目: Continuous Graph Neural Networks

摘要:

本文建立了图神经网络与传统动力系统之间的联系。我们提出了持续图神经网络(CGNN),它将现有的图神经网络与离散动力学进行了一般化,因为它们可以被视为一种特定的离散化方案。关键思想是如何表征节点表示的连续动力学,即关于时间的节点表示的导数。受现有的基于扩散的图方法(如社交网络上的PageRank和流行模型)的启发,我们将导数定义为当前节点表示、邻节点表示和节点初始值的组合。我们提出并分析了两种可能的动态图,包括节点表示的每个维度(又名特征通道)各自改变或相互作用的理论证明。所提出的连续图神经网络在过度平滑方面具有很强的鲁棒性,因此允许我们构建更深层次的网络,进而能够捕获节点之间的长期依赖关系。在节点分类任务上的实验结果证明了我们提出的方法在和基线对比的有效性。

介绍

图神经网络(GNNs)由于其在节点分类等多种应用中的简单性和有效性而受到越来越多的关注;、链接预测、化学性质预测、自然语言理解。GNN的基本思想是设计多个图传播层,通过聚合邻近节点的节点表示和节点本身的表示,迭代地更新每个节点表示。在实践中,对于大多数任务,几层(两层或三层)通常就足够了,更多的层可能导致较差的性能。

改进GNNs的一个关键途径是能够建立更深层次的网络,以了解数据和输出标签之间更复杂的关系。GCN传播层平滑了节点表示,即图中相邻的节点变得更加相似。当我们堆叠越来越多的层时,这会导致过度平滑,这意味着节点表示收敛到相同的值,从而导致性能下降。因此,重要的是缓解节点过平滑效应,即节点表示收敛到相同的值。

此外,对于提高我们对GNN的理论理解,使我们能够从图结构中描述我们可以学到的信号,这是至关重要的。最近关于理解GCN的工作(Oono和Suzuki, 2020)认为GCN是由离散层定义的离散动力系统。此外,Chen等人(2018)证明了使用离散层并不是构建神经网络的唯一视角。他们指出,带有剩余连接的离散层可以看作是连续ODE的离散化。他们表明,这种方法具有更高的记忆效率,并且能够更平滑地建模隐藏层的动态。

我们利用基于扩散方法的连续视角提出了一种新的传播方案,我们使用来自常微分方程(即连续动力系统)的工具进行分析。事实上,我们能够解释我们的模型学习了什么表示,以及为什么它不会遭受在GNNs中常见的过度平滑问题。允许我们建立更深层次的网络,也就是说我们的模型在时间价值上运行良好。恢复过平滑的关键因素是在连续设置中使用了最初在PageRank中提出的原始分布。直观上,重新开始分布有助于不忘记邻接矩阵的低幂次信息,从而使模型收敛到有意义的平稳分布。

本文的主要贡献是:

  • 基于PageRank和扩散方法,提出了两个连续递增模型容量的ODEs;
  • 我们从理论上分析了我们的层学习的表示,并表明当t → ∞我们的方法接近一个稳定的不动点,它捕获图结构和原始的节点特征。因为我们在t→∞时是稳定的,我们的网络可以有无限多个“层”,并且能够学习远程依赖关系;
  • 我们证明了我们的模型的记忆是高效的,并且对t的选择是具有鲁棒性的。除此之外,我们进一步证明了在节点分类任务上,我们的模型能够比许多现有的最先进的方法表现更好。
成为VIP会员查看完整内容
0
105

题目: Introduction to Graph Neural Networks

简介:

在复杂的实际应用中,图是有用的数据结构,例如对物理系统进行建模,学习分子指纹,控制交通网络以及在社交网络中推荐朋友。但是,这些任务需要处理包含元素之间的丰富关系信息且无法通过传统深度学习模型(例如卷积神经网络(CNN)或递归神经网络(RNN))妥善处理的非欧氏图数据。图中的节点通常包含有用的特征信息,这些信息在大多数无监督的表示学习方法(例如,网络嵌入方法)中无法很好地解决。提出了图神经网络(GNN)来结合特征信息和图结构,以通过特征传播和聚集学习更好的图表示。由于其令人信服的性能和高解释性,GNN最近已成为一种广泛应用的图形分析工具。本书全面介绍了图神经网络的基本概念,模型和应用。首先介绍了香草GNN模型。然后介绍了vanil la模型的几种变体,例如图卷积网络,图递归网络,图注意力网络,图残差网络和一些通用框架。还包括不同图类型的变体和高级训练方法。对于GNN的应用,该书将min分为结构,非结构和其他场景,然后介绍了解决这些任务的几种典型模型。最后,最后几章提供了GNN的开放资源以及一些未来方向的展望。

深度学习在许多领域都取得了可喜的进展,例如计算机视觉和自然语言处理。这些任务中的数据通常以欧几里得表示。但是,许多学习任务需要处理包含元素之间丰富的关系信息的非欧氏图数据,例如建模物理系统,学习分子指纹,预测蛋白质界面等。图神经网络(GNN)是基于深度学习的方法,在图域上运行。由于其令人信服的性能和高解释性,GNN最近已成为一种广泛应用的图形分析方法。本书全面介绍了图神经网络的基本概念,模型和应用。它从数学模型和神经网络的基础开始。在第一章中,它对GNN的基本概念进行了介绍,目的是为读者提供一个概览。然后介绍了GNN的不同变体:图卷积网络,图递归网络,图注意力网络,图残差网络和一些通用框架。这些最差的结果是将通用的深度学习技术转化为图形,例如卷积神经网络,递归神经网络,注意力机制和跳过连接。此外,这本书介绍了GNN在结构场景(物理,化学,知识图谱),非结构场景(图像,文本)和其他场景(生成模型,组合优化)中的不同应用。最后,这本书列出了相关的数据集,开源平台和GNN的实现。本书组织如下。在第1章中进行了概述之后,在第2章中介绍了数学和图论的一些基本知识。在第3章中介绍了神经网络的基础,然后在第4章中简要介绍了香草GNN。四种类型的模型分别在第5、6、7和8章中介绍。在第9章和第10章中介绍了不同图类型和高级训练方法的其他变体。然后在第11章中提出了几种通用的GNN框架。第12、13和14章介绍了GNN在结构场景,非结构场景和其他场景中的应用。最后,我们在第15章提供了一些开放资源,并在第16章总结了这本书。

成为VIP会员查看完整内容
Introduction to Graph Neural Networks.pdf
0
187

题目: Representation Learning on Graphs: Methods and Applications

摘要:

图机器学习是一项重要且普遍存在的任务,其应用范围从药物设计到社交网络中的友情推荐。这个领域的主要挑战是找到一种表示或编码图形结构的方法,以便机器学习模型能够轻松地利用它。传统上,机器学习方法依赖于用户定义的启发法来提取对图的结构信息进行编码的特征(例如,度统计或内核函数)。然而,近年来,使用基于深度学习和非线性降维的技术,自动学习将图结构编码为低维嵌入的方法激增。在这里,我们提供了一个概念上的回顾,在这一领域的关键进展,图表示学习,包括基于矩阵分解的方法,随机漫步的算法和图神经网络。我们回顾了嵌入单个节点的方法以及嵌入整个(子)图的方法。在此过程中,我们开发了一个统一的框架来描述这些最近的方法,并强调了一些重要的应用程序和未来工作的方向。

作者简介:

William L. Hamilton是麦吉尔大学计算机科学的助理教授,也是加拿大魁北克Mila AI研究所的CIFAR AI主席。William L. Hamilton开发的机器学习模型可以对这个复杂的、相互联系的世界进行推理。研究兴趣集中在机器学习、网络科学和自然语言处理的交叉领域,目前的重点是快速发展的图表示学习和图神经网络。

Rex Ying是斯坦福大学计算机科学二年级的博士生,研究主要集中在开发应用于图形结构数据的机器学习算法。曾致力于开发可扩展到网络规模数据集的广义图卷积网络,应用于推荐系统、异常检测和生物学。

成为VIP会员查看完整内容
0
118

题目: A Survey on Network Embedding

摘要: 网络嵌入将网络中的节点分配给低维表示,有效地保持了网络结构。近年来,这一新兴的网络分析范式取得了很大的进展。本文首先对网络嵌入方法进行了分类,然后回顾了网络嵌入方法的发展现状,并指出了其未来的研究方向。我们首先总结了网络嵌入的动机。讨论了经典的图嵌入算法及其与网络嵌入的关系。随后,我们对大量的网络嵌入方法进行了系统的综述,包括结构和属性保持的网络嵌入方法、带边信息的网络嵌入方法和先进的信息保持的网络嵌入方法。此外,还综述了几种网络嵌入的评价方法和一些有用的在线资源,包括网络数据集和软件。最后,我们讨论了利用这些网络嵌入方法构建有效系统的框架,并指出了一些潜在的未来方向。

作者简介: Peng Cui,清华大学计算机科学与技术系媒体与网络实验室副教授。

Jian Pei,现任加拿大大数据科学研究主席(Tier 1)和西蒙弗雷泽大学(Simon Fraser University)计算科学学院教授。他还是统计与精算科学系、科学院和健康科学院的副院士。他是数据科学、大数据、数据挖掘和数据库系统等领域的知名首席研究员。他的专长是为新的数据密集型应用开发高效的数据分析技术。他被公认为计算机械协会(ACM)的研究员,他为数据挖掘的基础、方法和应用做出贡献,并作为电气与电子工程师协会(IEEE)的研究员,为他的数据挖掘和知识发现做出贡献。

成为VIP会员查看完整内容
0
65

题目: Graph Summarization Methods and Applications: A Survey

摘要:

虽然计算资源的进步使处理大量数据成为可能,但人类识别这些数据模式的能力并没有相应提高。因此,压缩和简化数据的高效计算方法对于提取可操作的见解变得至关重要。特别是,虽然对数据摘要技术进行了广泛的研究,但直到最近才开始流行对相互关联的数据或图进行汇总。这项调查是一个结构化的,全面的概述了最先进的方法,以总结图形数据。我们首先讨论了图形摘要背后的动机和挑战。然后,我们根据作为输入的图形类型对摘要方法进行分类,并根据核心方法进一步组织每个类别。最后,我们讨论了总结在真实世界图上的应用,并通过描述该领域的一些开放问题进行了总结。

作者简介:

Yike Liu是密西根大学物理系五年级的博士生,也是计算机科学与工程系的一名硕士研究生。我是叶杰平教授的顾问。主要研究方向是深度学习和强化学习,尤其是在交通数据上的应用。在此之前,从事过基于图形的机器学习和数据挖掘,特别是图形总结和图形聚类,在这些工作中,开发了图形挖掘算法,帮助更好地理解底层的图形组织并理解它。

Tara Safavi是密西根大学博士研究生,研究重点是知识表示及其在以人为中心的任务中的使用、评估和解释,还对更广泛的AI+社会问题感兴趣,比如隐私、偏见和环境可持续性。研究目前得到了美国国家科学基金会(NSF)研究生奖学金和谷歌女性科技创造者奖学金的支持。

成为VIP会员查看完整内容
0
35

题目: A Comprehensive Survey of Graph Embedding: Problems, Techniques and Applications 摘要: 图形是一种重要的数据表示形式,它出现在现实世界的各种场景中。有效的图形分析可以让用户更深入地了解数据背后的内容,从而有利于节点分类、节点推荐、链路预测等许多有用的应用。然而,大多数图形分析方法都存在计算量大、空间开销大的问题。图嵌入是解决图分析问题的有效途径。它将图形数据转换为一个低维空间,其中图形结构信息和图形属性被最大程度地保留。在这项调查中,我们对图嵌入的文献进行了全面的回顾。本文首先介绍了图嵌入的形式化定义及相关概念。之后,我们提出了两个分类的图形嵌入,对应于什么挑战存在于不同的图形嵌入问题设置,以及现有的工作如何解决这些挑战,在他们的解决方案。最后,我们总结了图形嵌入在计算效率、问题设置、技术和应用场景等方面的应用,并提出了四个有前途的研究方向。

作者简介: Hongyun Cai,经验丰富的研究人员,有在研究行业工作的经验。精通计算机科学,C++,数据库,Java和机器学习。昆士兰大学计算机科学专业研究生,哲学博士。

Vincent W. Zheng,新加坡先进数字科学中心(ADSC)的研究科学家,也是伊利诺伊大学香槟分校协调科学实验室的研究附属机构。他目前领导着ADSC的大型社交项目。该项目旨在利用目前在我们的数字社会(即社交媒体)中普遍存在的巨大“人类传感器”,并实现对此类数据的社会分析,从而建立一个以人为中心的网络系统。他还对图形表示学习、深度学习、自然语言处理、移动计算等领域感兴趣,并在社交挖掘、文本挖掘、实际位置和活动识别、用户分析、移动推荐、增强现实等方面有应用。

Kevin Chen-Chuan Chang是伊利诺伊大学香槟分校计算机科学教授,他领导了数据搜索、集成和挖掘的前沿数据实验室。他在国立台湾大学获得理学学士学位,在斯坦福大学获得电机工程博士学位。他的研究涉及大规模信息访问,用于搜索、挖掘和跨结构化和非结构化大数据的集成,目前的重点是“以实体为中心”的Web搜索/挖掘和社交媒体分析。他在VLDB 2000年和2013年获得了两项最佳论文奖,2002年获得了NSF职业奖,2003年获得了NCSA院士奖,2004年和2005年获得了IBM院士奖,2008年获得了创业领导力学院院士奖,并在2001年、2004年、2005年、2006年、2010年和2011年获得了伊利诺伊大学不完整的优秀教师名单。他热衷于将研究成果带到现实世界中,并与学生共同创办了伊利诺伊大学(University of Illinois)的初创公司Cazoodle,致力于在网络上深化垂直的“数据感知”搜索。

成为VIP会员查看完整内容
0
41

题目: Graph Neural Networks:A Review of Methods and Applications

简介: 许多学习任务需要处理图形数据,该图形数据包含元素之间的关系信息。对物理系统进行建模,学习分子指纹,预测蛋白质界面以及对疾病进行分类,都需要从图输入中学习模型。在诸如从文本和图像之类的非结构数据中学习的其他领域中,对提取结构的推理,例如句子的依存关系树和图像的场景图,是一个重要的研究课题,它也需要图推理模型。图神经网络(GNN)是连接器模型,可通过在图的节点之间传递消息来捕获图的依赖性。与标准神经网络不同,图神经网络保留一种状态,该状态可以表示来自其邻域的任意深度的信息。尽管已经发现难以训练原始图神经网络来固定点,但是网络体系结构,优化技术和并行计算的最新进展已使他们能够成功学习。近年来,基于图卷积网络(GCN)和门控图神经网络(GGNN)的系统已经在上述许多任务上展示了突破性的性能。在本综述中,我们对现有的图神经网络模型进行了详细的回顾,对应用程序进行了系统分类,并提出了四个未解决的问题,供以后研究。

作者简介: 周杰,教授,清华大学自动化系党委书记,教授,博士生导师。

成为VIP会员查看完整内容
0
376

论文题目: A Structural Graph Representation Learning Framework

论文摘要: 许多基于图的机器学习任务的成功在很大程度上取决于从图数据中学习到的适当表示。大多数工作都集中在于学习保留邻近性的节点嵌入,而不是保留节点之间结构相似性的基于结构的嵌入。这些方法无法捕获对基于结构的应用程序(如web日志中的visitor stitching)至关重要的高阶结构依赖和连接模式。在这项工作中,我们阐述了高阶网络表示学习,并提出了一个称为HONE的通用框架,用于通过节点邻域中的子图模式(network motifs, graphlet orbits/positions)从网络中学习这种结构性节点嵌入。HONE引入了一种通用的diffusion机制和一种节省空间的方法,该方法避免了使用k-step线性算子来显式构造k-step motif-based矩阵。此外,HONE被证明是快速和有效的,最坏情况下的时间复杂度几乎是线性的。实验结果表明,该算法能有效地处理大量的网络日志数据,包括链接预测和visitor stitching。

作者简介:

Ryan A. Rossi,目前在Adobe Research工作,研究领域是机器学习;涉及社会和物理现象中的大型复杂关系(网络/图形)数据的理论、算法和应用。在普渡大学获得了计算机科学博士和硕士学位。

Nesreen K. Ahmed,英特尔实验室的高级研究员。我在普渡大学计算机科学系获得博士学位,在普渡大学获得统计学和计算机科学硕士学位。研究方向是机器学习和数据挖掘,涵盖了大规模图挖掘、统计机器学习的理论和算法,以及它们在社会和信息网络中的应用。

成为VIP会员查看完整内容
0
61

Lots of learning tasks require dealing with graph data which contains rich relation information among elements. Modeling physics system, learning molecular fingerprints, predicting protein interface, and classifying diseases require that a model learns from graph inputs. In other domains such as learning from non-structural data like texts and images, reasoning on extracted structures, like the dependency tree of sentences and the scene graph of images, is an important research topic which also needs graph reasoning models. Graph neural networks (GNNs) are connectionist models that capture the dependence of graphs via message passing between the nodes of graphs. Unlike standard neural networks, graph neural networks retain a state that can represent information from its neighborhood with arbitrary depth. Although the primitive GNNs have been found difficult to train for a fixed point, recent advances in network architectures, optimization techniques, and parallel computation have enabled successful learning with them. In recent years, systems based on graph convolutional network (GCN) and gated graph neural network (GGNN) have demonstrated ground-breaking performance on many tasks mentioned above. In this survey, we provide a detailed review over existing graph neural network models, systematically categorize the applications, and propose four open problems for future research.

0
9
下载
预览
小贴士
相关VIP内容
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
105+阅读 · 2020年6月28日
相关资讯
图神经网络(Graph Neural Networks,GNN)综述
极市平台
74+阅读 · 2019年11月27日
Graph Neural Networks 综述
计算机视觉life
23+阅读 · 2019年8月13日
图神经网络(GNN)必读论文及最新进展跟踪
深度学习与NLP
23+阅读 · 2019年6月7日
图神经网络综述:方法及应用 | Deep Reading
AI100
31+阅读 · 2019年3月17日
清华大学图神经网络综述:模型与应用
机器之心
56+阅读 · 2018年12月26日
图神经网络综述:模型与应用
PaperWeekly
171+阅读 · 2018年12月26日
相关论文
A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications
Jie Gui,Zhenan Sun,Yonggang Wen,Dacheng Tao,Jieping Ye
48+阅读 · 2020年1月20日
Aravind Sankar,Yanhong Wu,Liang Gou,Wei Zhang,Hao Yang
44+阅读 · 2019年6月15日
1D Convolutional Neural Networks and Applications: A Survey
Serkan Kiranyaz,Onur Avci,Osama Abdeljaber,Turker Ince,Moncef Gabbouj,Daniel J. Inman
4+阅读 · 2019年5月9日
Kamran Kowsari,Kiana Jafari Meimandi,Mojtaba Heidarysafa,Sanjana Mendu,Laura E. Barnes,Donald E. Brown
3+阅读 · 2019年4月25日
A Comprehensive Survey on Graph Neural Networks
Zonghan Wu,Shirui Pan,Fengwen Chen,Guodong Long,Chengqi Zhang,Philip S. Yu
10+阅读 · 2019年3月10日
Graph Neural Networks: A Review of Methods and Applications
Jie Zhou,Ganqu Cui,Zhengyan Zhang,Cheng Yang,Zhiyuan Liu,Lifeng Wang,Changcheng Li,Maosong Sun
9+阅读 · 2019年3月7日
Hao Peng,Jianxin Li,Qiran Gong,Senzhang Wang,Yuanxing Ning,Philip S. Yu
5+阅读 · 2019年2月25日
Ziwei Zhang,Peng Cui,Wenwu Zhu
40+阅读 · 2018年12月11日
Yao Ma,Ziyi Guo,Zhaochun Ren,Eric Zhao,Jiliang Tang,Dawei Yin
15+阅读 · 2018年10月24日
Ruoyu Li,Sheng Wang,Feiyun Zhu,Junzhou Huang
5+阅读 · 2018年1月10日
Top
微信扫码咨询专知VIP会员