【导读】伦敦帝国理工学院教授Michael Bronstein等人撰写了一本关于几何深度学习系统性总结的书,提出从对称性和不变性的原则推导出不同的归纳偏差和网络架构。非常值得关注!

几何深度学习是一种从对称性和不变性的角度对大量ML问题进行几何统一的尝试。这些原理不仅奠定了卷积神经网络的突破性性能和最近成功的图神经网络的基础,而且也提供了一种原则性的方法来构建新型的问题特定的归纳偏差。

在本文中,我们做了一个适度的尝试,将Erlangen项目的思维模式应用到深度学习领域,最终目标是获得该领域的系统化和“连接点”。我们将这种几何化尝试称为“几何深度学习”,并忠实于Felix Klein的精神,提出从对称性和不变性的原则推导出不同的归纳偏差和网络架构。特别地,我们将重点放在一类用于分析非结构集、网格、图和流形的神经网络上,并表明它们可以被统一地理解为尊重这些域的结构和对称性的方法。

我们相信这篇文章将吸引深度学习研究人员、实践者和爱好者的广泛受众。新手可以用它来概述和介绍几何深度学习。经验丰富的深度学习专家可能会发现从基本原理推导熟悉架构的新方法,也许还会发现一些令人惊讶的联系。实践者可以获得如何解决各自领域问题的新见解。

一些重要论述:

  • 我们研究了流行的深度学习架构(CNNs, GNNs, transformer, LSTMs)的本质,并意识到,只要有一组合适的对称,我们就可以等价它们,它们都可以用一个通用的几何框架来表达。

  • 更进一步,我们在一些不太标准的领域(如同质群和流形)上使用了我们的框架,这表明框架可以很好地表达这些领域的最新进展,如球形CNN, SO(3)-变换器,和规范-等变网格CNNs。

  • 几何深度学习的“5G”:网格、组(具有全局对称性的齐次空间)、图(以及作为特定情况的集)和流形,其中几何先验通过全局等距不变(可以用测地线表示)和局部规范对称来表现。
成为VIP会员查看完整内容
0
97

相关内容

有很多关于傅里叶变换的书; 然而,很少有面向多学科读者的。为工程师写一本关于代数概念的书是一个真正的挑战,即使不是太难的事,也要比写一本关于理论应用的代数书更有挑战性。这就是本书试图面对的挑战。因此,每个读者都能够创建一个“按菜单”的程序,并从语句或计算机程序中提取特定元素,以建立他们在该领域的知识,或将其运用于更具体的问题。

本文叙述是非常详细的。读者可能偶尔需要一些关于有限组的高级概念,以及对组行为的熟悉程度。我强调了那些重要的定义和符号。例如,从多个角度(交换群、信号处理、非交换群)研究卷积的概念,每次都要放在它的背景知识中。因此,不同的段落,虽然遵循一个逻辑递进,有一个真正的统一,但可以根据自己需要选取阅读。

第一章用群论的语言来解释主要概念,并解释后面将用到的符号。第二章将所得结果应用于各种问题,并首次接触快速算法(例如Walsh 变换)。第三章对离散傅里叶变换进行了阐述。第四章介绍了离散傅里叶变换的各种应用,并构成了对前一章的必要补充,以充分理解所涉及的机制以及在实际情况中使用。第五章围绕傅里叶变换提出了更多新颖的思想和算法,产生了大量的应用。第六章需要一些更高级的知识,特别是对有限场理论的一些熟悉。它研究了有限域中的值变换,并给出了在校正码中的应用。最后两章(最困难的一章),具有更多的代数性质,并建议推广已经在有限非交换群的情况下进行的构造。第七章揭示了线性表示的理论。第八章和最后一章将这一理论应用于理论(群的简洁性研究)和实际(光谱分析)领域。

https://mathematical-tours.github.io/daft/

成为VIP会员查看完整内容
0
49

近年来,图神经网络(GNNs)由于具有建模和从图结构数据中学习的能力,在机器学习领域得到了迅猛发展。这种能力在数据具有内在关联的各种领域具有很强的影响,而传统的神经网络在这些领域的表现并不好。事实上,正如最近的评论可以证明的那样,GNN领域的研究已经迅速增长,并导致了各种GNN算法变体的发展,以及在化学、神经学、电子或通信网络等领域的突破性应用的探索。然而,在目前的研究阶段,GNN的有效处理仍然是一个开放的挑战。除了它们的新颖性之外,由于它们依赖于输入图,它们的密集和稀疏操作的组合,或者在某些应用中需要伸缩到巨大的图,GNN很难计算。在此背景下,本文旨在做出两大贡献。一方面,从计算的角度对GNNs领域进行了综述。这包括一个关于GNN基本原理的简短教程,在过去十年中该领域发展的概述,以及在不同GNN算法变体的多个阶段中执行的操作的总结。另一方面,对现有的软硬件加速方案进行了深入分析,总结出一种软硬件结合、图感知、以通信为中心的GNN加速方案。

成为VIP会员查看完整内容
0
131

神经网络在诸多应用领域展现了巨大的潜力,成为当前最热门的研究方向之一。神经网络的训练主要通过求解一个优化问题来完成,但这是一个困难的非线性优化问题,传统的优化理论难以直接应用。在神经网络和优化的交叉领域,长期以来研究人员积累了大量的理论研究知识,不过这些研究或过于理论而不被大部分实践者所了解,或过于偏工程而不被理论学者所理解和欣赏。本文的目的是总结目前对于神经网络优化基本理论和算法的现状,架起理论和实践、优化和机器学习界之间的桥梁。

对苦于调参常感到困惑的工程师而言,本文可以提供一些已有的理论理解以供参考,并提供一些思考的方式。对理论学者而言,本文力图解释其作为数学问题的困难之所在以及目前的理论进展,以期吸引更多研究者投身神经网络优化理论和算法研究。

本文概述了神经网络的算法和优化理论。首先,我们讨论梯度爆炸/消失问题和更一般的谱控制问题,然后讨论实际中常用的解决方案,包括初始化方法和归一化方法。其次,我们回顾用于训练神经网络的一般优化方法,如SGD、自适应梯度方法和大规模分布式训练方法,以及这些算法的现有理论结果。第三,我们回顾了最近关于神经网络训练的全局问题的研究,包括局部极值、模式连接、彩票假设和无限宽度分析等方面的结果。

成为VIP会员查看完整内容
1
46

https://nowpublishers.com/article/Details/INR-076

匹配在搜索和推荐中都是一个关键问题,它是衡量文档与查询的相关性或用户对某个条目的兴趣。机器学习已经被用来解决这个问题,它根据输入表示和标记数据学习匹配函数,也被称为“学习匹配”。近年来,人们努力开发用于匹配搜索和推荐任务的深度学习技术。随着大量数据的可用性、强大的计算资源和先进的深度学习技术,用于匹配的深度学习现在已经成为最先进的搜索和推荐技术。深度学习方法成功的关键在于它在从数据(例如查询、文档、用户、条目和上下文,特别是原始形式)中学习表示和匹配模式的泛化方面的强大能力。

本文系统全面地介绍了最近发展起来的搜索推荐深度匹配模型。首先给出了搜索和推荐匹配的统一观点。这样,两个领域的解决方案就可以在一个框架下进行比较。然后,调查将目前的深度学习解决方案分为两类:表示学习方法和匹配函数学习方法。介绍了搜索中的查询-文档匹配和推荐中的用户-项匹配的基本问题和最新的解决方案。该调查旨在帮助搜索和推荐社区的研究人员深入了解和洞察空间,激发更多的想法和讨论,促进新技术的发展。

匹配并不局限于搜索和推荐。在释义、问题回答、图像注释和许多其他应用程序中都可以发现类似的问题。一般而言,调查中引入的技术可以概括为一个更一般的任务,即匹配来自两个空间的物体。

图1.1:搜索和推荐匹配的统一视图。

  • 输入层接收两个匹配对象,它们可以是单词嵌入、ID向量或特征向量。

  • 表示层将输入向量转换为分布式表示。这里可以使用MLP、CNN和RNN等神经网络,这取决于输入的类型和性质。

  • 交互层比较匹配对象(例如,两个分布式表示)并输出大量(局部或全局)匹配信号。矩阵和张量可以用来存储信号及其位置。

  • 聚合层将各个匹配信号聚合成一个高级匹配向量。该层通常采用深度神经网络中的pooling和catenation等操作。

  • 输出层获取高级匹配向量并输出匹配分数。可以利用线性模型、MLP、神经张量网络(NTN)或其他神经网络。

成为VIP会员查看完整内容
0
169

在本章中,我们将关注更复杂的编码器模型。我们将介绍图神经网络(GNN)的形式,它是定义图数据上的深度神经网络的一般框架。关键思想是,我们想要生成实际上依赖于图结构的节点的表示,以及我们可能拥有的任何特征信息。在开发复杂的图结构数据编码器的主要挑战是,我们通常的深度学习工具箱不适用。例如,卷积神经网络(CNNs)只在网格结构的输入(如图像)上定义良好,而递归神经网络(RNNs)只在序列(如文本)上定义良好。要在一般图上定义深度神经网络,我们需要定义一种新的深度学习架构。

成为VIP会员查看完整内容
0
83

图神经网络一本简明硬货新书,快来学习!

William L. Hamilton McGill 大学计算机科学的助理教授,魁北克省Mila AI研究所的加拿大CIFAR AI主席。我开发了机器学习模型,可以对我们复杂、相互关联的世界进行推理。

总的来说,研究兴趣集中在机器学习、网络科学和自然语言处理的交叉领域,目前重点关注快速增长的图表示学习和图神经网络。

https://www.cs.mcgill.ca/~wlh/

图表示学习

在过去的7年里,图表示学习领域以令人难以置信(有时难以控制)的速度发展,从从事一个相对小众主题的一小部分研究人员,转变为深度学习中增长最快的子领域之一。

这本书是我对图表示学习的一个简要而全面的介绍,包括嵌入图数据的方法,图神经网络,以及图的深层生成模型。

图是一种普遍存在的数据结构和描述复杂系统的通用语言。在最普遍的观点中,一个图仅仅是对象的集合。,以及一组交互(例如,节点)。(边)在这些对象对之间。例如,为了将一个社会网络编码为一个图,我们可以使用节点来表示个体,使用边来表示两个个体是朋友(图1.1)。在生物领域,我们可以使用图中的节点来表示蛋白质,并使用边缘来表示各种生物相互作用,例如蛋白质之间的动力学相互作用。

图形式主义的力量在于它关注点之间的关系(而不是单个点的属性),以及它的一般性。同样的图表形式也可以用来表示社会网络、药物和蛋白质之间的相互作用、原子之间的相互作用。

然而,图表不仅仅提供了一个优雅的理论框架。它们提供了一个数学基础,我们可以在此基础上分析、理解和学习现实世界的复杂系统。在过去的25年里,可供研究人员使用的图形结构数据在数量和质量上有了显著的增长。随着大型社交网络平台的出现,大量的科学活动对交互体建模,食物网,分子图结构的数据库,以及数十亿网络连接设备的出现,有意义的图数据供研究人员分析。挑战在于释放这些数据的潜力。

这本书是关于我们如何利用机器学习来应对这一挑战。当然,机器学习不是分析图表数据的唯一可能的方法。然而,鉴于我们试图分析的图形数据集的规模和复杂性不断增长,很明显,机器学习将在提高我们建模、分析和理解图形数据的能力方面发挥重要作用。

https://www.cs.mcgill.ca/~wlh/grl_book/

目录内容:

  • Chapter 1: Introduction and Motivations 导论动机
  • Chapter 2: Background and Traditional Approaches 背景介绍方法 Part I: Node Embeddings 节点嵌入
  • Chapter 3: Neighborhood Reconstruction Methods 邻域重建方法
  • Chapter 4: Multi-Relational Data and Knowledge Graphs 多关系数据与知识图谱 Part II: Graph Neural Networks 图神经网络
  • Chapter 5: The Graph Neural Network Model 图神经网络模型
  • Chapter 6: Graph Neural Networks in Practice 图神经网路实践
  • Chapter 7: Theoretical Motivations 理论动机 Part III: Generative Graph Models 生成图模型
  • Chapter 8: Traditional Graph Generation Approaches 传统图生成方法
  • Chapter 9: Deep Generative Models 深度生成模型
  • Bibliography [Draft. Updated August 2020.]
成为VIP会员查看完整内容
0
159

随着web技术的发展,多模态或多视图数据已经成为大数据的主要流,每个模态/视图编码数据对象的单个属性。不同的模态往往是相辅相成的。这就引起了人们对融合多模态特征空间来综合表征数据对象的研究。大多数现有的先进技术集中于如何融合来自多模态空间的能量或信息,以提供比单一模态的同行更优越的性能。最近,深度神经网络展示了一种强大的架构,可以很好地捕捉高维多媒体数据的非线性分布,对多模态数据自然也是如此。大量的实证研究证明了深多模态方法的优势,从本质上深化了多模态深特征空间的融合。在这篇文章中,我们提供了从浅到深空间的多模态数据分析领域的现有状态的实质性概述。在整个调查过程中,我们进一步指出,该领域的关键要素是多模式空间的协作、对抗性竞争和融合。最后,我们就这一领域未来的一些方向分享我们的观点。

成为VIP会员查看完整内容
0
146

近年来,人们对学习图结构数据表示的兴趣大增。基于标记数据的可用性,图表示学习方法一般分为三大类。第一种是网络嵌入(如浅层图嵌入或图自动编码器),它侧重于学习关系结构的无监督表示。第二种是图正则化神经网络,它利用图来增加半监督学习的正则化目标的神经网络损失。第三种是图神经网络,目的是学习具有任意结构的离散拓扑上的可微函数。然而,尽管这些领域很受欢迎,但在统一这三种范式方面的工作却少得惊人。在这里,我们的目标是弥合图神经网络、网络嵌入和图正则化模型之间的差距。我们提出了图结构数据表示学习方法的一个综合分类,旨在统一几个不同的工作主体。具体来说,我们提出了一个图编码解码器模型(GRAPHEDM),它将目前流行的图半监督学习算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和图表示的非监督学习(如DeepWalk、node2vec等)归纳为一个统一的方法。为了说明这种方法的一般性,我们将30多个现有方法放入这个框架中。我们相信,这种统一的观点既为理解这些方法背后的直觉提供了坚实的基础,也使该领域的未来研究成为可能。

概述

学习复杂结构化数据的表示是一项具有挑战性的任务。在过去的十年中,针对特定类型的结构化数据开发了许多成功的模型,包括定义在离散欧几里德域上的数据。例如,序列数据,如文本或视频,可以通过递归神经网络建模,它可以捕捉序列信息,产生高效的表示,如机器翻译和语音识别任务。还有卷积神经网络(convolutional neural networks, CNNs),它根据移位不变性等结构先验参数化神经网络,在图像分类或语音识别等模式识别任务中取得了前所未有的表现。这些主要的成功仅限于具有简单关系结构的特定类型的数据(例如,顺序数据或遵循规则模式的数据)。

在许多设置中,数据几乎不是规则的: 通常会出现复杂的关系结构,从该结构中提取信息是理解对象之间如何交互的关键。图是一种通用的数据结构,它可以表示复杂的关系数据(由节点和边组成),并出现在多个领域,如社交网络、计算化学[41]、生物学[105]、推荐系统[64]、半监督学习[39]等。对于图结构的数据来说,将CNNs泛化为图并非易事,定义具有强结构先验的网络是一项挑战,因为结构可以是任意的,并且可以在不同的图甚至同一图中的不同节点之间发生显著变化。特别是,像卷积这样的操作不能直接应用于不规则的图域。例如,在图像中,每个像素具有相同的邻域结构,允许在图像中的多个位置应用相同的过滤器权重。然而,在图中,我们不能定义节点的顺序,因为每个节点可能具有不同的邻域结构(图1)。此外,欧几里德卷积强烈依赖于几何先验(如移位不变性),这些先验不能推广到非欧几里德域(如平移可能甚至不能在非欧几里德域上定义)。

这些挑战导致了几何深度学习(GDL)研究的发展,旨在将深度学习技术应用于非欧几里德数据。特别是,考虑到图在现实世界应用中的广泛流行,人们对将机器学习方法应用于图结构数据的兴趣激增。其中,图表示学习(GRL)方法旨在学习图结构数据的低维连续向量表示,也称为嵌入。

广义上讲,GRL可以分为两类学习问题,非监督GRL和监督(或半监督)GRL。第一个系列的目标是学习保持输入图结构的低维欧几里德表示。第二系列也学习低维欧几里德表示,但为一个特定的下游预测任务,如节点或图分类。与非监督设置不同,在非监督设置中输入通常是图结构,监督设置中的输入通常由图上定义的不同信号组成,通常称为节点特征。此外,底层的离散图域可以是固定的,这是直推学习设置(例如,预测一个大型社交网络中的用户属性),但也可以在归纳性学习设置中发生变化(例如,预测分子属性,其中每个分子都是一个图)。最后,请注意,虽然大多数有监督和无监督的方法学习欧几里德向量空间中的表示,最近有兴趣的非欧几里德表示学习,其目的是学习非欧几里德嵌入空间,如双曲空间或球面空间。这项工作的主要动机是使用一个连续的嵌入空间,它类似于它试图嵌入的输入数据的底层离散结构(例如,双曲空间是树的连续版本[99])。

鉴于图表示学习领域的发展速度令人印象深刻,我们认为在一个统一的、可理解的框架中总结和描述所有方法是很重要的。本次综述的目的是为图结构数据的表示学习方法提供一个统一的视图,以便更好地理解在深度学习模型中利用图结构的不同方法。

目前已有大量的图表示学习综述。首先,有一些研究覆盖了浅层网络嵌入和自动编码技术,我们参考[18,24,46,51,122]这些方法的详细概述。其次,Bronstein等人的[15]也给出了非欧几里德数据(如图或流形)的深度学习模型的广泛概述。第三,最近的一些研究[8,116,124,126]涵盖了将深度学习应用到图数据的方法,包括图数据神经网络。这些调查大多集中在图形表示学习的一个特定子领域,而没有在每个子领域之间建立联系。

在这项工作中,我们扩展了Hamilton等人提出的编码-解码器框架,并介绍了一个通用的框架,图编码解码器模型(GRAPHEDM),它允许我们将现有的工作分为四大类: (i)浅嵌入方法,(ii)自动编码方法,(iii) 图正则化方法,和(iv) 图神经网络(GNNs)。此外,我们还介绍了一个图卷积框架(GCF),专门用于描述基于卷积的GNN,该框架在广泛的应用中实现了最先进的性能。这使我们能够分析和比较各种GNN,从在Graph Fourier域中操作的方法到将self-attention作为邻域聚合函数的方法[111]。我们希望这种近期工作的统一形式将帮助读者深入了解图的各种学习方法,从而推断出相似性、差异性,并指出潜在的扩展和限制。尽管如此,我们对前几次综述的贡献有三个方面

  • 我们介绍了一个通用的框架,即GRAPHEDM,来描述一系列广泛的有监督和无监督的方法,这些方法对图形结构数据进行操作,即浅层嵌入方法、图形正则化方法、图形自动编码方法和图形神经网络。

  • 我们的综述是第一次尝试从同一角度统一和查看这些不同的工作线,我们提供了一个通用分类(图3)来理解这些方法之间的差异和相似之处。特别是,这种分类封装了30多个现有的GRL方法。在一个全面的分类中描述这些方法,可以让我们了解这些方法究竟有何不同。

  • 我们为GRL发布了一个开源库,其中包括最先进的GRL方法和重要的图形应用程序,包括节点分类和链接预测。我们的实现可以在https://github.com/google/gcnn-survey-paper上找到。

成为VIP会员查看完整内容
0
167

本备忘单是机器学习手册的浓缩版,包含了许多关于机器学习的经典方程和图表,旨在帮助您快速回忆起机器学习中的知识和思想。

这个备忘单有两个显著的优点:

  1. 清晰的符号。数学公式使用了许多令人困惑的符号。例如,X可以是一个集合,一个随机变量,或者一个矩阵。这是非常混乱的,使读者很难理解数学公式的意义。本备忘单试图规范符号的使用,所有符号都有明确的预先定义,请参见小节。

  2. 更少的思维跳跃。在许多机器学习的书籍中,作者省略了数学证明过程中的一些中间步骤,这可能会节省一些空间,但是会给读者理解这个公式带来困难,读者会在中间迷失。

成为VIP会员查看完整内容
0
163

图神经网络是解决各种图学习问题的有效的机器学习模型。尽管它们取得了经验上的成功,但是GNNs的理论局限性最近已经被揭示出来。因此,人们提出了许多GNN模型来克服这些限制。在这次调查中,我们全面概述了GNNs的表达能力和可证明的强大的GNNs变体。

成为VIP会员查看完整内容
0
105
小贴士
相关VIP内容
专知会员服务
49+阅读 · 2020年11月2日
专知会员服务
131+阅读 · 2020年10月3日
专知会员服务
83+阅读 · 2020年8月24日
专知会员服务
146+阅读 · 2020年6月16日
机器学习速查手册,135页pdf
专知会员服务
163+阅读 · 2020年3月15日
专知会员服务
105+阅读 · 2020年3月10日
相关论文
Mallikarjun B R,Ayush Tewari,Abdallah Dib,Tim Weyrich,Bernd Bickel,Hans-Peter Seidel,Hanspeter Pfister,Wojciech Matusik,Louis Chevallier,Mohamed Elgharib,Christian Theobalt
0+阅读 · 5月13日
Alberto Bracci,Matthieu Nadini,Maxwell Aliapoulios,Damon McCoy,Ian Gray,Alexander Teytelboym,Angela Gallo,Andrea Baronchelli
0+阅读 · 5月10日
Zichao Meng,Ye Guo,Wenjun Tang,Hongbin Sun,Wenqi Huang
0+阅读 · 5月7日
Blair Archibald,Muffy Calder,Michele Sevegnani
0+阅读 · 5月6日
Shlomi Dolev,Arseni Kalma
0+阅读 · 5月4日
Jordi Tur,David Moriña,Pedro Puig,Alejandra Cabaña,Argimiro Arratia,Amanda Fernández-Fontelo
0+阅读 · 5月4日
Directional Graph Networks
Dominique Beaini,Saro Passaro,Vincent Létourneau,William L. Hamilton,Gabriele Corso,Pietro Liò
8+阅读 · 2020年12月10日
Self-Attention Graph Pooling
Junhyun Lee,Inyeop Lee,Jaewoo Kang
3+阅读 · 2019年4月17日
Adaptive Fraud Detection System Using Dynamic Risk Features
Huiying Mao,Yung-wen Liu,Yuting Jia,Jay Nanduri
3+阅读 · 2018年10月10日
Benjamin Hou,Bishesh Khanal,Amir Alansary,Steven McDonagh,Alice Davidson,Mary Rutherford,Jo V. Hajnal,Daniel Rueckert,Ben Glocker,Bernhard Kainz
3+阅读 · 2018年1月23日
Top