【导读】图数据处理是一个长期存在的研究课题,近年来又被深度学习领域广泛关注。相关研究在数量和广度上飞速增长,但这也导致了知识系统化的缺失和对早期文献关注的缺失。《A Gentle Introduction to Deep Learning for Graphs》是图深度学习领域的教程导论,它倾向于对主流概念和架构的一致和渐进的介绍,而不是对最新文献的阐述。

教程在介绍概念和想法时采用了自上而下的方法并保留了清晰的历史观点,为此,导论在第2节中提供了图表示学习的泛化形式,将图表示学习泛化为一种基于局部和迭代的结构化信息处理过程。同时,介绍了架构路线图,整个导论也是围绕该路线图进行开展的。导论聚焦于面向局部和迭代的信息处理过程,因为这些过程与神经网络的体系更为一致。因此,导论会淡化那些基于图谱理论的全局方法(假设有一个固定的邻接矩阵)。

后续,导论介绍了可以用于组装构建新奇和有效图神经网络模型的基本构建单元。导论还对图深度学习中有意思的研究挑战和应用进行了阐述,同时介绍了相关的方法。导论的内容大致如下:

  • 摘要

  • 简介

  • 高阶概览

    • 数学符号

    • 动机

    • 路线图

    • 局部关系和信息的迭代处理

    • 三种上下文传播机制

  • 构建块/单元

    • 邻接聚合

    • 池化

    • 面向图嵌入的节点聚合

    • 总结

  • 任务

    • 无监督学习

    • 有监督学习

    • 生成式学习

    • 总结

  • 其他方法和任务的总结

    • 图谱方法

    • 随机游走

    • 图上的对抗训练和攻击

    • 图序列生成模型

  • 开放挑战和研究方法

    • 时间进化图

    • 偏置方差权衡

    • 边信息的明智用法

    • 超图学习

  • 应用

    • 化学和药物设计

    • 社交网络

    • 自然语言处理

    • 安全

    • 时空预测

    • 推荐系统

  • 总结

成为VIP会员查看完整内容
0
85

相关内容

题目: Introduction to Graph Neural Networks

简介:

在复杂的实际应用中,图是有用的数据结构,例如对物理系统进行建模,学习分子指纹,控制交通网络以及在社交网络中推荐朋友。但是,这些任务需要处理包含元素之间的丰富关系信息且无法通过传统深度学习模型(例如卷积神经网络(CNN)或递归神经网络(RNN))妥善处理的非欧氏图数据。图中的节点通常包含有用的特征信息,这些信息在大多数无监督的表示学习方法(例如,网络嵌入方法)中无法很好地解决。提出了图神经网络(GNN)来结合特征信息和图结构,以通过特征传播和聚集学习更好的图表示。由于其令人信服的性能和高解释性,GNN最近已成为一种广泛应用的图形分析工具。本书全面介绍了图神经网络的基本概念,模型和应用。首先介绍了香草GNN模型。然后介绍了vanil la模型的几种变体,例如图卷积网络,图递归网络,图注意力网络,图残差网络和一些通用框架。还包括不同图类型的变体和高级训练方法。对于GNN的应用,该书将min分为结构,非结构和其他场景,然后介绍了解决这些任务的几种典型模型。最后,最后几章提供了GNN的开放资源以及一些未来方向的展望。

深度学习在许多领域都取得了可喜的进展,例如计算机视觉和自然语言处理。这些任务中的数据通常以欧几里得表示。但是,许多学习任务需要处理包含元素之间丰富的关系信息的非欧氏图数据,例如建模物理系统,学习分子指纹,预测蛋白质界面等。图神经网络(GNN)是基于深度学习的方法,在图域上运行。由于其令人信服的性能和高解释性,GNN最近已成为一种广泛应用的图形分析方法。本书全面介绍了图神经网络的基本概念,模型和应用。它从数学模型和神经网络的基础开始。在第一章中,它对GNN的基本概念进行了介绍,目的是为读者提供一个概览。然后介绍了GNN的不同变体:图卷积网络,图递归网络,图注意力网络,图残差网络和一些通用框架。这些最差的结果是将通用的深度学习技术转化为图形,例如卷积神经网络,递归神经网络,注意力机制和跳过连接。此外,这本书介绍了GNN在结构场景(物理,化学,知识图谱),非结构场景(图像,文本)和其他场景(生成模型,组合优化)中的不同应用。最后,这本书列出了相关的数据集,开源平台和GNN的实现。本书组织如下。在第1章中进行了概述之后,在第2章中介绍了数学和图论的一些基本知识。在第3章中介绍了神经网络的基础,然后在第4章中简要介绍了香草GNN。四种类型的模型分别在第5、6、7和8章中介绍。在第9章和第10章中介绍了不同图类型和高级训练方法的其他变体。然后在第11章中提出了几种通用的GNN框架。第12、13和14章介绍了GNN在结构场景,非结构场景和其他场景中的应用。最后,我们在第15章提供了一些开放资源,并在第16章总结了这本书。

成为VIP会员查看完整内容
Introduction to Graph Neural Networks.pdf
0
177

本文综述了元学习在图像分类、自然语言处理和机器人技术等领域的应用。与深度学习不同,元学习使用较少的样本数据集,并考虑进一步改进模型泛化以获得更高的预测精度。我们将元学习模型归纳为三类: 黑箱适应模型、基于相似度的方法模型和元学习过程模型。最近的应用集中在将元学习与贝叶斯深度学习和强化学习相结合,以提供可行的集成问题解决方案。介绍了元学习方法的性能比较,并讨论了今后的研究方向。

成为VIP会员查看完整内容
0
197

内容介绍:

计算机科学正在发展,以利用新的硬件,如GPU、TPUs、CPU和大型的集群。许多子领域,如机器学习和优化,已经调整了它们的算法来处理这样的集群。

主题包括分布式和并行算法:优化、数值线性代数、机器学习、图形分析、流形算法,以及其他在集群中难以扩展的问题。该类将重点分析程序,并使用Apache Spark和TensorFlow实现一些程序。

本课程将分为两部分:首先,介绍并行算法的基础知识和在单多核机器上的运行时分析。其次,我们将介绍在集群机器上运行的分布式算法。

成为VIP会员查看完整内容
0
65

主题: GANs in computer vision: Introduction to generative learning

主要内容: 在这个综述系列文章中,我们将重点讨论计算机视觉应用程序的大量GANs。具体地说,我们将慢慢地建立在导致产生性对抗网络(GAN)进化的思想和原则之上。我们将遇到不同的任务,如条件图像生成,3D对象生成,视频合成。

目录:

  • 对抗学习
  • GAN(生成对抗网络)
  • 条件生成对抗网
  • 基于深度卷积
  • 生成对抗网络的无监督表示学习
  • Info GAN: Info最大化生成对抗网的表征学习

一般来说,数据生成方法存在于各种各样的现代深度学习应用中,从计算机视觉到自然语言处理。在这一点上,我们可以用肉眼生成几乎无法区分的生成数据。生成性学习大致可分为两大类:a)变分自编码器(VAE)和b)生成性对抗网络(GAN)。

成为VIP会员查看完整内容
0
47

【导读】元学习旨在学会学习,是当下研究热点之一。最近来自爱丁堡大学的学者发布了关于元学习最新综述论文《Meta-Learning in Neural Networks: A Survey》,值得关注,详述了元学习体系,包括定义、方法、应用、挑战,成为不可缺少的文献。

近年来,元学习领域,或者说“学会学习的学习”,引起了人们极大的兴趣。与传统的人工智能方法(使用固定的学习算法从头开始解决给定的任务)不同,元学习的目的是改进学习算法本身,考虑到多次学习的经验。这个范例提供了一个机会来解决深度学习的许多传统挑战,包括数据和计算瓶颈,以及泛化的基本问题。在这项综述中,我们描述了当代元学习的景观。我们首先讨论元学习的定义,并将其定位于相关领域,如迁移学习、多任务学习和超参数优化。然后,我们提出了一个新的分类法,对元学习方法的空间进行了更全面的细分。我们综述了元学习的一些有前途的应用和成功案例,包括小样本学习、强化学习和体系架构搜索。最后,我们讨论了突出的挑战和未来研究的有希望的领域。

https://arxiv.org/abs/2004.05439

概述

现代机器学习模型通常是使用手工设计的固定学习算法,针对特定任务从零开始进行训练。基于深度学习的方法在许多领域都取得了巨大的成功[1,2,3]。但是有明显的局限性[4]。例如,成功主要是在可以收集或模拟大量数据的领域,以及在可以使用大量计算资源的领域。这排除了许多数据本质上是稀有或昂贵的[5],或者计算资源不可用的应用程序[6,7]。

元学习提供了另一种范式,机器学习模型可以在多个学习阶段获得经验——通常覆盖相关任务的分布——并使用这些经验来改进未来的学习性能。这种“学会学习”[8]可以带来各种好处,如数据和计算效率,它更适合人类和动物的学习[9],其中学习策略在一生和进化时间尺度上都得到改善[10,9,11]。机器学习在历史上是建立在手工设计的特征上的模型,而特征的选择往往是最终模型性能的决定因素[12,13,14]。深度学习实现了联合特征和模型学习的承诺[15,16],为许多任务提供了巨大的性能改进[1,3]。神经网络中的元学习可以看作是集成联合特征、模型和算法学习的下一步。神经网络元学习有着悠久的历史[17,18,8]。然而,它作为推动当代深度学习行业前沿的潜力,导致了最近研究的爆炸性增长。特别是,元学习有可能缓解当代深度学习[4]的许多主要批评,例如,通过提供更好的数据效率,利用先验知识转移,以及支持无监督和自主学习。成功的应用领域包括:小样本图像识别[19,20]、无监督学习[21]、数据高效[22,23]、自导向[24]强化学习(RL)、超参数优化[25]和神经结构搜索(NAS)[26, 27, 28]。

在文献中可以找到许多关于元学习的不同观点。特别是由于不同的社区对这个术语的使用略有不同,所以很难定义它。与我们[29]相关的观点认为,元学习是管理“没有免费午餐”定理[30]的工具,并通过搜索最适合给定问题或问题族的算法(归纳偏差)来改进泛化。然而,从广义上来说,这个定义可以包括迁移、多任务、特征选择和模型集成学习,这些在今天通常不被认为是元学习。另一个关于元学习[31]的观点广泛地涵盖了基于数据集特性的算法选择和配置技术,并且很难与自动机器学习(AutoML)[32]区分开来。在这篇论文中,我们关注当代的神经网络元学习。我们将其理解为算法或归纳偏差搜索,但重点是通过端到端学习明确定义的目标函数(如交叉熵损失、准确性或速度)来实现的。

因此,本文提供了一个独特的,及时的,最新的调查神经网络元学习领域的快速增长。相比之下,在这个快速发展的领域,以往的研究已经相当过时,或者关注于数据挖掘[29、33、34、35、36、37、31]、自动[32]的算法选择,或者元学习的特定应用,如小样本学习[38]或神经架构搜索[39]。

我们讨论元学习方法和应用。特别是,我们首先提供了一个高层次的问题形式化,它可以用来理解和定位最近的工作。然后,我们在元表示、元目标和元优化器方面提供了一种新的方法分类。我们调查了几个流行和新兴的应用领域,包括少镜头、强化学习和架构搜索;并对相关的话题如迁移学习、多任务学习和自动学习进行元学习定位。最后,我们讨论了尚未解决的挑战和未来研究的领域。

未来挑战:

-元泛化 元学习在不同任务之间面临着泛化的挑战,这与传统机器学习中在不同实例之间进行泛化的挑战类似。

  • 任务分布的多模态特性
  • 任务族
  • 计算代价
  • 跨模态迁移和异构任务

总结

元学习领域最近出现了快速增长的兴趣。这带来了一定程度的混乱,比如它如何与邻近的字段相关联,它可以应用到什么地方,以及如何对它进行基准测试。在这次综述中,我们试图通过从方法学的角度对这一领域进行彻底的调查来澄清这些问题——我们将其分为元表示、元优化器和元目标的分类;从应用的角度来看。我们希望这项调查将有助于新人和实践者在这个不断增长的领域中定位自己,并强调未来研究的机会。

成为VIP会员查看完整内容
0
174

题目: Meta-Learning in Neural Networks: A Survey

简介: 近年来,元学习领域的兴趣急剧上升。与使用固定学习算法从头解决给定任务的传统AI方法相反,元学习旨在根据多次学习事件的经验来改善学习算法本身。这种范例为解决深度学习的许多传统挑战提供了机会,包括数据和计算瓶颈以及泛化的基本问题。在本次调查中,我们描述了当代的元学习环境。我们首先讨论元学习的定义,并将其相对于相关领域(例如转移学习,多任务学习和超参数优化)进行定位。然后,我们提出了一种新的分类法,该分类法为当今的元学习方法提供了更为全面的细分。我们调查了元学习的有希望的应用程序和成功案例,包括,强化学习和架构搜索。最后,我们讨论了未来研究的突出挑战和有希望的领域。

成为VIP会员查看完整内容
0
66

【导读】近年来,随着网络数据量的不断增加,挖掘图形数据已成为计算机科学领域的热门研究课题,在学术界和工业界都得到了广泛的研究。 但是,大量的网络数据为有效分析带来了巨大的挑战。 因此激发了图表示的出现,该图表示将图映射到低维向量空间中,同时保持原始图结构并支持图推理。 图的有效表示的研究具有深远的理论意义和重要的现实意义,本教程将介绍图表示/网络嵌入的一些基本思想以及一些代表性模型。

关于图或网络的文献有两个名称:图表示和网络嵌入。我们注意到图和网络都指的是同一种结构,尽管它们每个都有自己的术语,例如,图和网络的顶点和边。挖掘图/网络的核心依赖于正确表示的图/网络,这使得图/网络上的表示学习成为学术界和工业界的基本研究问题。传统表示法直接基于拓扑图来表示图,通常会导致许多问题,包括稀疏性,高计算复杂性等,从而激发了基于机器学习的方法的出现,这种方法探索了除矢量空间中的拓扑结构外还能够捕获额外信息的潜在表示。因此,对于图来说,“良好”的潜在表示可以更加精确的表示图形。但是,学习网络表示面临以下挑战:高度非线性,结构保持,属性保持,稀疏性。

深度学习在处理非线性方面的成功为我们提供了研究新方向,我们可以利用深度学习来提高图形表示学习的性能,作者在教程中讨论了将深度学习技术与图表示学习相结合的一些最新进展,主要分为两类方法:面向结构的深层方法和面向属性的深层方法。

对于面向结构的方法:

  • 结构性深层网络嵌入(SDNE),专注于保持高阶邻近度。
  • 深度递归网络嵌入(DRNE),其重点是维护全局结构。
  • 深度超网络嵌入(DHNE),其重点是保留超结构。

对于面向属性的方法:

  • 专注于不确定性属性的深度变异网络嵌入(DVNE)。
  • 深度转换的基于高阶Laplacian高斯过程(DepthLGP)的网络嵌入,重点是动态属性。

本教程的第二部分就以上5种方法,通过对各个方法的模型介绍、算法介绍、对比分析等不同方面进行详细介绍。

1、Structural Deep Network Embedding

network embedding,是为网络中的节点学习出一个低维表示的方法。目的在于在低维中保持高度非线性的网络结构特征,但现有方法多采用浅层网络不足以挖掘高度非线性,或同时保留局部和全局结构特征。本文提出一种结构化深度网络嵌入方法,叫SDNE该方法用半监督的深度模型来捕捉高度非线性结构,通过结合一阶相似性(监督)和二阶相似性(非监督)来保留局部和全局特征。

2、 Deep recursive network embedding with regular equivalence

网络嵌入旨在保留嵌入空间中的顶点相似性。现有方法通常通过节点之间的连接或公共邻域来定义相似性,即结构等效性。但是,位于网络不同部分的顶点可能具有相似的角色或位置,即规则的等价关系,在网络嵌入的文献中基本上忽略了这一点。以递归的方式定义规则对等,即两个规则对等的顶点具有也规则对等的网络邻居。因此,文章中提出了一种名为深度递归网络嵌入(DRNE)的新方法来学习具有规则等价关系的网络嵌入。更具体地说,我们提出了一种层归一化LSTM,以递归的方式通过聚合邻居的表示方法来表示每个节点。

3、Structural Deep Embedding for Hyper-Networks

是在hyperedge(超边是不可分解的)的基础上保留object的一阶和二阶相似性,学习异质网络表示。于与HEBE的区别在于,本文考虑了网络high-oeder网络结构和高度稀疏性。 传统的基于clique expansion 和star expansion的方法,显式或者隐式地分解网络。也就说,分解后hyper edge节点地子集,依然可以构成一个新的超边。对于同质网络这个假设是合理地,因为同质网络地超边,大多数情况下都是根据潜在地相似性(共同地标签等)构建的。

4、 Deep variational network embedding in wasserstein space

大多数现有的嵌入方法将节点作为点向量嵌入到低维连续空间中。这样,边缘的形成是确定性的,并且仅由节点的位置确定。但是,现实世界网络的形成和发展充满不确定性,这使得这些方法不是最优的。为了解决该问题,在本文中提出了一种新颖的在Wasserstein空间中嵌入深度变分网络(DVNE)。所提出的方法学习在Wasserstein空间中的高斯分布作为每个节点的潜在表示,它可以同时保留网络结构并为节点的不确定性建模。具体来说,我们使用2-Wasserstein距离作为分布之间的相似性度量,它可以用线性计算成本很好地保留网络中的传递性。此外,我们的方法通过深度变分模型隐含了均值和方差的数学相关性,可以通过均值矢量很好地捕获节点的位置,而由方差可以很好地捕获节点的不确定性。此外,本文方法通过保留网络中的一阶和二阶邻近性来捕获局部和全局网络结构。

5、 Learning embeddings of out-of-sample nodes in dynamic networks

迄今为止的网络嵌入算法主要是为静态网络设计的,在学习之前,所有节点都是已知的。如何为样本外节点(即学习后到达的节点)推断嵌入仍然是一个悬而未决的问题。该问题对现有方法提出了很大的挑战,因为推断的嵌入应保留复杂的网络属性,例如高阶邻近度,与样本内节点嵌入具有相似的特征(即具有同质空间),并且计算成本较低。为了克服这些挑战,本文提出了一种深度转换的高阶拉普​​拉斯高斯过程(DepthLGP)方法来推断样本外节点的嵌入。 DepthLGP结合了非参数概率建模和深度学习的优势。特别是,本文设计了一个高阶Laplacian高斯过程(hLGP)来对网络属性进行编码,从而可以进行快速和可扩展的推理。为了进一步确保同质性,使用深度神经网络来学习从hLGP的潜在状态到节点嵌入的非线性转换。 DepthLGP是通用的,因为它适用于任何网络嵌入算法学习到的嵌入。

成为VIP会员查看完整内容
0
79

简介: 图是表示知识的有效方法。它们可以在一个统一的结构中表示不同类型的知识。生物科学和金融等领域已经开始积累大量的知识图,但是它们缺乏从中提取见解的机器学习工具。

David Mack概述了自己相关想法并调查了最流行的方法。在此过程中,他指出了积极研究的领域,并共享在线资源和参考书目以供进一步研究。

作者介绍: David Mack是Octavian.ai的创始人和机器学习工程师,致力于探索图机器学习的新方法。在此之前,他与他人共同创立了SketchDeck,这是一家由Y Combinator支持的初创公司,提供设计即服务。他拥有牛津大学的数学硕士学位和计算机科学的基础,并拥有剑桥大学的计算机科学学士学位。

内容介绍: 本次报告涵盖内容:为什么将图应用在机器学习上;图机器学习的不同方法。现存的图机器学习往往会忽略数据中的上下文信息,使用图可以获取更多的潜在信息。图的构建方法为节点分类、边的预测,图的分类以及边的分类。两个主要方法是使用机器学习算法将图转换为table,另一种方法是将图转换为网络。在报告中作者详细介绍了这两种方法。

成为VIP会员查看完整内容
2019-09 Introduction to graphs and machine learning @ Strata.pdf
2
343

课程名称: Introduction to Articial Intelligence

课程简介:

本课程主要讲述了人工智能相关知识,包括基本理论、练习和项目。

课程部分大纲:

  • 人工智能导论
  • 智能体
    • 教程:Python入门
  • 通过搜索来解决问题
    • 练习1:通过搜索来解决问题
    • 项目1:搜索算法
  • 约束满足问题
    • 练习2:约束满足问题
  • 游戏对抗性搜索
    • 练习3:游戏对抗性搜索
  • 表示不确定知识
    • 练习4:不确定性下的推理(第1部分)
  • 贝叶斯网络中的推论
    • 练习5:不确定性下的推理(第二部分)
  • 随时间推移的推理(第1部分)
  • 随时间推移的推理(第2部分)

讲师介绍:

Gilles Louppe是比利时列日大学人工智能和深度学习的副教授。他曾是纽约大学物理系和数据科学中心的博士后助理,与欧洲核子研究中心的阿特拉斯实验关系密切。他的研究处于机器学习、人工智能和物理科学的交叉点上,他目前的研究兴趣包括使用和设计新的机器学习算法,以新的和变革性的方式处理来自基础科学的数据驱动的问题。

下载索引:链接:https://pan.baidu.com/s/1aUGwQx3YUWLit3RfKNNDNw;提取码:c8lc

成为VIP会员查看完整内容
0
71

Deep learning has been shown successful in a number of domains, ranging from acoustics, images to natural language processing. However, applying deep learning to the ubiquitous graph data is non-trivial because of the unique characteristics of graphs. Recently, a significant amount of research efforts have been devoted to this area, greatly advancing graph analyzing techniques. In this survey, we comprehensively review different kinds of deep learning methods applied to graphs. We divide existing methods into three main categories: semi-supervised methods including Graph Neural Networks and Graph Convolutional Networks, unsupervised methods including Graph Autoencoders, and recent advancements including Graph Recurrent Neural Networks and Graph Reinforcement Learning. We then provide a comprehensive overview of these methods in a systematic manner following their history of developments. We also analyze the differences of these methods and how to composite different architectures. Finally, we briefly outline their applications and discuss potential future directions.

0
40
下载
预览
小贴士
相关论文
Wenwu Zhu,Xin Wang,Peng Cui
19+阅读 · 2020年1月2日
A Modern Introduction to Online Learning
Francesco Orabona
15+阅读 · 2019年12月31日
Optimization for deep learning: theory and algorithms
Ruoyu Sun
81+阅读 · 2019年12月19日
A Survey of the Usages of Deep Learning in Natural Language Processing
Daniel W. Otter,Julian R. Medina,Jugal K. Kalita
75+阅读 · 2019年9月11日
Tuomas Haarnoja,Aurick Zhou,Sehoon Ha,Jie Tan,George Tucker,Sergey Levine
6+阅读 · 2018年12月26日
Deep Graph Infomax
Petar Veličković,William Fedus,William L. Hamilton,Pietro Liò,Yoshua Bengio,R Devon Hjelm
9+阅读 · 2018年12月21日
Ziwei Zhang,Peng Cui,Wenwu Zhu
40+阅读 · 2018年12月11日
Andreas Kamilaris,Francesc X. Prenafeta-Boldu
10+阅读 · 2018年7月31日
Wenbin Li,Jing Huo,Yinghuan Shi,Yang Gao,Lei Wang,Jiebo Luo
8+阅读 · 2018年5月15日
Tom Young,Devamanyu Hazarika,Soujanya Poria,Erik Cambria
7+阅读 · 2018年2月20日
Top