图神经网络(GNN)是一类基于深度学习的处理图域信息的方法,它通过将图广播操作和深度学习算法结合,可以让图的结构信息和顶点属性信息都参与到学习中,在顶点分类、图分类、链接预测等应用中表现出良好的效果和可解释性,已成为一种广泛应用的图分析方法.然而现有主流的深度学习框架(如Tensorflow、PyTorch等)没有为图神经网络计算提供高效的存储支持和图上的消息传递支持,这限制了图神经网络算法在大规模图数据上的应用.目前已有诸多工作针对图结构的数据特点和图神经网络的计算特点,探索了大规模图神经网络系统的设计和实现方案.本文首先对图神经网络的发展进行简要概述,总结了设计图神经网络系统需要面对的挑战;随后对目前图神经网络系统的工作进行介绍,从系统架构、编程模型、消息传递优化、图分区策略、通信优化等多个方面对系统进行分析;最后使用部分已开源的图神经网络系统进行实验评估,从精确度、性能、扩展性等多个方面验证这些系统的有效性.

http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6311

成为VIP会员查看完整内容
0
61

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

近年来深度学习在图像、语音、自然语言处理等诸多领域得到广泛应用,但随着人们对深度学习的训练速度和数据处理能力的需求不断提升,传统的基于单机的训练过程愈发难以满足要求,分布式的深度学习训练方法成为持续提升算力的有效途径.其中训练过程中节点间网络的通信性能至关重要,直接影响训练性能.分析了分布式深度学习中的性能瓶颈,在此基础上对目前常用的网络性能优化方案进行综述,详细阐述了目前最新的超大规模分布式训练的体系结构、优化方法、训练环境和最有效的优化方法,最后对分布式训练仍然存在的困难进行了总结,对其未来研究方向进行了展望.

http://crad.ict.ac.cn/CN/10.7544/issn1000-1239.2021.20190881

成为VIP会员查看完整内容
0
21

图神经网络为根据特定任务将真实世界的图嵌入低维空间提供了一个强大的工具包。到目前为止,已经有一些关于这个主题的综述。然而,它们往往侧重于不同的角度,使读者看不到图神经网络的全貌。本论文旨在克服这一局限性,并对图神经网络进行了全面的综述。首先,我们提出了一种新的图神经网络分类方法,然后参考了近400篇相关文献,全面展示了图神经网络的全貌。它们都被分类到相应的类别中。为了推动图神经网络进入一个新的阶段,我们总结了未来的四个研究方向,以克服所面临的挑战。希望有越来越多的学者能够理解和开发图神经网络,并将其应用到自己的研究领域。

导论

图作为一种复杂的数据结构,由节点(或顶点)和边(或链接)组成。它可以用于建模现实世界中的许多复杂系统,如社会网络、蛋白质相互作用网络、大脑网络、道路网络、物理相互作用网络和知识图等。因此,分析复杂网络成为一个有趣的研究前沿。随着深度学习技术的快速发展,许多学者采用深度学习体系结构来处理图形。图神经网络(GNN)就是在这种情况下出现的。到目前为止,GNN已经发展成为一种流行和强大的计算框架,用于处理不规则数据,如图形和流形。

GNN可以通过层次迭代算子学习任务特定的节点/边/图表示,从而利用传统的机器学习方法执行与图相关的学习任务,如节点分类、图分类、链路预测和聚类等。尽管GNNs在图形相关学习任务上取得了很大的成功,但他们仍然面临着巨大的挑战。首先,图数据结构的复杂性给大型图数据带来了昂贵的计算代价。其次,扰动图结构和/或初始特征会导致性能急剧下降。第三,wesfeiller - leman (WL)图同构检验阻碍了GNNs的性能提升。最后,GNN的黑盒工作机制阻碍了将其安全部署到实际应用中。

本文将传统的深度体系结构推广到非欧氏域,总结了图神经网络的体系结构、扩展和应用、基准和评估缺陷以及未来的研究方向。到目前为止,已经对GNN进行了几次调查。然而,他们通常从不同的角度、不同的侧重点来讨论GNN模型。据我们所知,关于GNN的第一次调查是由Michael M. Bronstein等人进行的。Peng Cui等[2]从三个方面综述了应用于图形的各种深度学习模型: 包括图卷积神经网络在内的半监督学习方法,包括图自动编码器在内的非监督学习方法,以及包括图循环神经网络和图强化学习在内的最新进展。本研究侧重于半监督学习模型,即空间图和光谱图卷积神经网络,而对其他两个方面的研究相对较少。由于篇幅有限,本调查只列出了GNNs的几个关键应用,但忽略了应用的多样性。孙茂松等人[3]从图类型、传播步骤和训练方法三个方面详细回顾了光谱和空间图卷积神经网络,并将其应用分为结构场景、非结构场景和其他场景三种场景。然而,这篇文章没有涉及其他GNN架构,如图形自动编码器,图形循环神经网络和图形生成网络。Philip S. Yu等人[4]对图神经网络进行了全面的调查,并调查了可用的数据集、开源实现和实际应用。然而,对于每个研究主题,他们只列出了少量的核心文献。Davide Bacciu等人[367]温和地介绍了图形数据的深度学习领域。本文的目的是介绍为图数据构造神经网络的主要概念和构建模块,因此它没有对最近的图神经网络工作进行阐述。

值得注意的是,上述所有调研都不涉及GNN的能力和可解释性、概率推理和GNN的组合以及对图的对抗攻击。本文从架构、扩展和应用、基准测试和评估缺陷、未来研究方向四个方面为读者提供了GNN的全景图,如图1所示。对于GNNs的结构,我们研究了图卷积神经网络(GCNNs)、图池算子、图注意机制和图循环神经网络(GRNNs)等方面的研究。通过对上述体系结构的集成,实现了GNNs的扩展和应用,展示了一些值得关注的研究课题。具体来说,这一视角包括深度图表示学习、深度图生成模型、概率推理(PI)和gnn的组合、GNN的对抗攻击、图神经结构搜索和图强化学习和应用。综上所述,本文对GNNs进行了完整的分类,并对GNNs的研究现状和发展趋势进行了全面的综述。这些是我们与上述调查的主要不同之处。

我们的主要贡献可以归结为以下三个方面。

  1. 我们提出了一种新的GNN分类方法,它有三个层次。第一个包括架构、基准测试和评估缺陷以及应用程序。体系结构分为9类,基准测试和评估缺陷分为2类,应用程序分为10类。此外,图卷积神经网络作为一种经典的GNN体系结构,又被分为6类。

  2. 我们提供了GNN的全面回顾。所有的文献都属于相应的类别。希望读者通过阅读本概览,不仅了解GNNs的全貌,而且了解GNNs的基本原理和各种计算模块。

3.根据目前GNNs所面临的挑战,我们总结了未来四个研究方向,其中大部分在其他研究中没有提及。希望通过克服这些挑战,使GNNs的研究进入一个新的阶段

未来研究方向:

尽管GNNs在许多领域取得了巨大的成功,但仍存在一些有待解决的问题。本节总结了GNNs未来的研究方向。

  • 高度可伸缩的GNN。现实世界的图通常包含数亿个节点和边,并具有动态演化的特征。事实证明,现有的GNN架构很难扩展到巨大的真实世界图。这促使我们设计高度可伸缩的GNN架构,能够高效和有效地学习节点/边/图表示为巨大的动态演化图。

  • 健壮的GNN。现有的GNN架构容易受到对抗性攻击。也就是说,一旦输入图的结构和/或初始特征受到攻击,GNN模型的性能就会急剧下降。因此,我们应该将攻击防御机制整合到GNN体系结构中,即构建健壮的GNN体系结构,以增强其对抗攻击的能力。

  • GNNs超过WL测试。空间广义网格网络的性能受单WL的限制,而高阶WL检验的计算代价昂贵。因此,在适当的条件下,两个非同构图将产生相同的节点/边/图表示。这促使我们开发一个超越WL测试的新的GNN框架,或者设计一个优雅的高阶GNN架构来对应高阶WL测试。

  • 可解释的GNN。现有的GNN在一个黑盒中工作。我们不明白为什么它们在节点分类任务、图分类任务和图嵌入任务等方面都能达到如此先进的性能。可解释性已经成为将GNNs应用于现实问题的一个主要障碍。虽然已有一些研究对某些特定的GNN模型进行了解释,但它们不能解释一般的GNN模型。这促使我们为gnn构建一个统一的可解释框架。

成为VIP会员查看完整内容
1
59

我们生活在一个由大量不同模态内容构建而成的多媒体世界中,不同模态信息之间具有高度的相关性和互补性,多模态表征学习的主要目的就是挖掘出不同模态之间的共性和特性,产生出可以表示多模态信息的隐含向量.该文章主要介绍了目前应用较广的视觉语言表征的相应研究工作,包括传统的基于相似性模型的研究方法和目前主流的基于语言模型的预训练的方法.目前比较好的思路和解决方案是将视觉特征语义化然后与文本特征通过一个强大的特征抽取器产生出表征,其中Transformer[1]作为主要的特征抽取器被应用表征学习的各类任务中.文章分别从研究背景、不同研究方法的划分、测评方法、未来发展趋势等几个不同角度进行阐述.

http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6125&flag=1

成为VIP会员查看完整内容
0
52

摘要:随着计算机行业和互联网时代的不断发展与进步,图神经网络已经成为人工智能和大数据重要研究领域。图神经网络是对相邻节点间信息的传播和聚合的重要技术,可以有效地将深度学习的理念应用于非欧几里德空间的数据上。简述图计算、图数据库、知识图谱、图神经网络等图技术领域的相关研究历史,分类介绍不同类型的图结构。分析对比不同的图神经网络技术,重点从频域和空间与的信息聚合方式上分类比较不同的图卷积网络算法。阐述图生成和图对抗网络、图强化学习、图迁移学习、神经任务图和图零样本学习等不同的图网络与深度学习方法相结合的技术方法,并列举不同的图神经网络技术在文本、图像、知识图谱、视频任务等领域的具体应用。最后,对图神经网络未来的发展与研究方向加以展望。

https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CAPJ&dbname=CAPJDAY&filename=JSJC20201123000&v=fpDLQvPDFGeYvQeSgmnh5h1YpkO6G1W6SQqt4w%25mmd2B%25mmd2BnZtjD3h80wKsQ5NhpJeXgtGI

概述

近年来随着计算机行业的快速发展和数据量的井喷式增长,深度学习方法被提出并得到了广泛的 应用。深度学习通过神经网络端到端的解决方案, 在图像处理、语音识别、语义理解[1]等领域取得了 巨大的成功,深度学习的应用往往都是在高维特征 空间上特征规则分布的欧几里德数据。作为一种关 系型数据结构,图(Graph)在深度学习中的应用研究近年来受到越来越多的关注,本文将图的演进历程分为数学起源、计算应用、神经网络延伸三个阶段。

图的概念起源于 18 世纪著名的柯尼斯堡七桥问 题,到了 20 世纪中期,拟阵理论、超图理论、极图 理论等研究蓬勃发展,使得图论(Graph Theory)[2] 在电子计算诞生前,就已经成为了重要的数学研究领域。

随着计算机的出现和机器计算时代的到来和发 展,图作为一种能够有效且抽象地表达信息和数据 中的实体以及实体之间关系的重要数据结构被广泛应用,图数据库有效解决了传统的关系型数据结构 面对大量复杂的数据所暴露出的建模缺陷多、计算速度慢等问题,图数据库也成为了非常热门的研究 领域。图结构(Graph-structured Data)[3]可以将结构化数据点通过边的形式,依照数据间的关系将不同类型和结构的数据节点连接起来,因而被广泛地应用在数据的存储、检索以及计算应用中。基于图结构数据,知识图谱[4-7]可以通过点和边的语义关系, 来实现精确地描述现实世界中实体之间的关联关系, 作为人工智能非常重要的研究领域,知识图谱的研究方向包括知识抽取、知识推理、知识图谱可视化等。图计算(Graph Computing)具有数据规模量大、 局部性低、计算性能高等特性,图计算算法[8-9]主要 可以分为路径搜索算法、中心性算法、社群发现算法等三类,实现了在关系复杂型的大规模数据上高 时效性和准确度的表现,在社交网络、团体反欺诈 和用户推荐等领域有着重要的应用。

与已经非常成熟图计算不同,图神经网络 (Graph Neural Network)的研究主要是集中在相邻节点信息的传播与聚合上,从图神经网络的概念提 出,到受深度学习中卷积神经网络的启发,2013 年 提出的基于图论的图卷积神经网络 [10-11]研究方向吸 引了大量学者关注。2018 年 DeepMind 提出图网络 (Graph Network)[12]的概念,希望能够将深度学习 端到端的学习方式与图结构关系归纳推理的理论结 合解决深度学习无法处理关系推理的问题。针对图 神经网络存在的问题,不同的学者们也给出了不同 的方案,随着对图神经网络这一新兴领域更加深入 的研究与探索,人工智能领域的版图将得到更大扩展。

文献[12]在关系归纳偏置和深度学习的研究基础 上,提出了面向关系推理的图网络概念并进行了综 述,但未对不同图网络技术进行分类和对比。文献 [13]从半监督、无监督方法的角度对图结构上的深度 学习进行了综述,但缺少相近的分类和应用的讨论。文献[14]主要从传播规则、网络结构等角度分析了图神经网络的不同模型以及应用。文献[15]则是详细对 比了时域和空间的不同图卷神经网络方法结构,但没有对图神经网络之于深度学习领域的探讨,如图强化学习、图迁移学习等。本文针对图神经网络, 分析对比了六种图神经网络方法的优劣,首次对处 理异构图数据的图神经网络技术进行了讨论和研究, 综述了五类图神经网络的研究领域,并对未来的发展方向进行了展望。

成为VIP会员查看完整内容
0
184

近年来,随着web2.0的普及,使用图挖掘技术进行异常检测受到人们越来越多的关注.图异常检测在欺诈检测、入侵检测、虚假投票、僵尸粉丝分析等领域发挥着重要作用.本文在广泛调研国内外大量文献以及最新科研成果的基础上,按照数据表示形式将面向图的异常检测划分成静态图上的异常检测与动态图上的异常检测两大类,进一步按照异常类型将静态图上的异常分为孤立个体异常和群组异常检测两种类别,动态图上的异常分为孤立个体异常、群体异常以及事件异常三种类型.对每一类异常检测方法当前的研究进展加以介绍,对每种异常检测算法的基本思想、优缺点进行分析、对比,总结面向图的异常检测的关键技术、常用框架、应用领域、常用数据集以及性能评估方法,并对未来可能的发展趋势进行展望.

http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6100&flag=1

成为VIP会员查看完整内容
0
49

近年来, 随着海量数据的涌现, 可以表示对象之间复杂关系的图结构数据越来越受到重视并给已有的算法带来了极大的挑战. 图神经网络作为可以揭示深层拓扑信息的模型, 已开始广泛应用于诸多领域,如通信、生命科学和经济金融等. 本文对近几年来提出的图神经网络模型和应用进行综述, 主要分为以下几类:基于空间方法的图神经网络模型、基于谱方法的图神经网络模型和基于生成方法的图神经网络模型等,并提出可供未来进一步研究的问题.

http://engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext

图是对对象及其相互关系的一种简洁抽象的直观数学表达. 具有相互关系的数据—图结构数据在众多领域普遍存在, 并得到广泛应用. 随着大量数据的涌现, 传统的图算法在解决一些深层次的重要问题, 如节点分类和链路预测等方面有很大的局限性. 图神经网络模型考虑了输入数据的规模、异质性和深层拓扑信息等, 在挖掘深层次有效拓扑信息、 提取数据的关键复杂特征和 实现对海量数据的快速处理等方面, 例如, 预测化学分子的特性 [1]、文本的关系提取 [2,3]、图形图像的结构推理 [4,5]、社交网络的链路预测和节点聚类 [6]、缺失信息的网络补全 [7]和药物的相互作用预测 [8], 显示了令人信服的可靠性能.

图神经网络的概念最早于 2005 年由 Gori 等 [9]提出, 他借鉴神经网络领域的研究成果, 设计了一种用于处理图结构数据的模型. 2009 年, Scarselli 等 [10]对此模型进行了详细阐述. 此后, 陆续有关于图神经网络的新模型及应用研究被提出. 近年来, 随着对图结构数据研究兴趣的不断增加, 图神经网络研究论文数量呈现出快速上涨的趋势, 图神经网络的研究方向和应用领域都得到了很大的拓展.

目前已有一些文献对图神经网络进行了综述. 文献 [11]对图结构数据和流形数据领域的深度学习方法进行了综述, 侧重于将所述各种方法置于一个称为几何深度学习的统一框架之内; 文献[12]将图神经网络方法分为三类: 半监督学习、无监督学习和最新进展, 并根据发展历史对各种方法进行介绍、分析和对比; 文献[13]介绍了图神经网络原始模型、变体和一般框架, 并将图神经网络的应用划分为结构场景、非结构场景和其他场景; 文献[14]提出了一种新的图神经网络分类方法, 重点介绍了图卷积网络, 并总结了图神经网络方法在不同学习任务中的开源代码和基准.

本文将对图神经网络模型的理论及应用进行综述, 并讨论未来的方向和挑战性问题. 与其他综述文献的不同之处在于, 我们给出新的分类标准, 并且介绍图神经网络丰富的应用成果. 本文具体结构如下: 首先介绍三类主要的图神经网络模型, 分别是基于空间方法的图神经网络、基于谱方法的图神经网络和基于生成方法的图神经网络等; 然后介绍模型在节点分类、链路预测和图生成等方面的应用; 最后提出未来的研究方向.

成为VIP会员查看完整内容
图神经网络.pdf
0
148
小贴士
相关VIP内容
专知会员服务
21+阅读 · 2月2日
专知会员服务
46+阅读 · 2020年12月9日
专知会员服务
52+阅读 · 2020年12月3日
专知会员服务
184+阅读 · 2020年11月24日
专知会员服务
49+阅读 · 2020年10月27日
专知会员服务
118+阅读 · 2020年10月3日
专知会员服务
37+阅读 · 2020年9月20日
最新《图神经网络模型与应用》综述论文
专知会员服务
148+阅读 · 2020年8月2日
专知会员服务
99+阅读 · 2020年3月10日
相关资讯
多模态视觉语言表征学习研究综述
专知
7+阅读 · 2020年12月3日
图神经网络(Graph Neural Networks,GNN)综述
极市平台
47+阅读 · 2019年11月27日
Graph Neural Networks 综述
计算机视觉life
19+阅读 · 2019年8月13日
图神经网络概述第三弹:来自IEEE Fellow的GNN综述
机器之心
42+阅读 · 2019年1月7日
清华大学图神经网络综述:模型与应用
机器之心
43+阅读 · 2018年12月26日
图神经网络综述:模型与应用
PaperWeekly
154+阅读 · 2018年12月26日
相关论文
Xixun Lin,Jia Wu,Chuan Zhou,Shirui Pan,Yanan Cao,Bin Wang
3+阅读 · 2月26日
Yaochen Xie,Zhao Xu,Zhengyang Wang,Shuiwang Ji
21+阅读 · 2月23日
Hao Yuan,Haiyang Yu,Shurui Gui,Shuiwang Ji
23+阅读 · 2020年12月31日
Siddhant Arora
3+阅读 · 2020年7月24日
Emily Alsentzer,Samuel G. Finlayson,Michelle M. Li,Marinka Zitnik
16+阅读 · 2020年6月19日
Hyper-SAGNN: a self-attention based graph neural network for hypergraphs
Ruochi Zhang,Yuesong Zou,Jian Ma
11+阅读 · 2019年11月6日
Auto-GNN: Neural Architecture Search of Graph Neural Networks
Kaixiong Zhou,Qingquan Song,Xiao Huang,Xia Hu
4+阅读 · 2019年9月10日
dynnode2vec: Scalable Dynamic Network Embedding
Sedigheh Mahdavi,Shima Khoshraftar,Aijun An
8+阅读 · 2018年12月6日
LARNN: Linear Attention Recurrent Neural Network
Guillaume Chevalier
3+阅读 · 2018年8月16日
Ruyue Xin,Jiang Zhang,Yitong Shao
5+阅读 · 2018年4月8日
Top