近年来,图表示学习的研究激增,包括深度图嵌入(deep graph embeddings)技术、卷积神经网络对图结构数据的泛化以及受置信传播启发的神经信息传递方法。与此同时,图表示学习的这些进步促成了许多领域的最新成果,包括化学合成、3D 视觉、推荐系统、问题解答和社交网络分析等。
加拿大麦吉尔大学计算机科学助理教授 William Hamilton 的新书《图表示学习》(Graph Representation Learning)。
据 William 介绍,这本书全面概述了图神经网络、节点嵌入、图卷积、图的深度生成模型以及相关的历史背景和传统方法。
有网友在阅读前两章内容后认为,书中的解释非常清晰和直观,值得与同事分享!
另有网友表示,这本书特别适用于图学习初学者。
章节介绍
该书首先讨论了图表示学习的目标以及图理论和网络分析的主要方法论基础。之后,作者介绍并回顾了学习节点嵌入的方法,包括基于随机游走(random-walk)的方法和知识图谱的应用。
接下来,作者对图神经网络形式(formalism)进行了综合介绍,该形式已经成为使用图数据进行深度学习的主要且快速增长的模型范式。
最后,书中总结了深度生成模型的最新进展,这些模型虽然提出的时间不久,但在图表示学习领域发展迅速。
引言
本章首先介绍了图这种数据结构,然后介绍了基于图的机器学习。
背景和传统方法
本章提供了一些方法论背景,介绍了在现代深度学习方法问世以前,基于图的机器学习使用了哪些方法。作者首先介绍了基本的图统计、核心方法以及它们在节点和图分类任务中的使用。然后作者在书中介绍并探讨了用于测量节点邻域之间重叠的方法,最后简要介绍了使用拉普拉斯(Laplacians)进行谱聚类。
节点嵌入
本书第一部分主要介绍了节点嵌入的内容。
在本章中,作者概述了简单图和加权图的节点嵌入方法。
在本章中,作者介绍了用于多关系图的类比嵌入方法,同时还简要介绍了知识图谱的相关内容。
图神经网络
本书第一部分探讨了学习图中节点的低维嵌入的方法,第二部分则重点介绍了更加复杂的编码器模型。
在本章中,作者看到开发用于图结构数据的复杂编码器的主要挑战在于,通常的深度学习工具并不适用。图神经网络(GNN)作为在图数据上定义深度神经网络的通用框架,作者对其基本内容展开了详细介绍。
本章将探索 GNN 在实践中的应用。具体而言,作者将讨论 GNN 的一些典型应用以及实践中通常如何实现 GNN 的优化,其中重点探讨了特别有效的无监督预训练方法。此外,作者还将介绍一些用以正则化和提升 GNN 效率的常用技术。
本章讲述了图神经网络的一些理论依据,旨在向读者介绍不同理论依据背后的核心思想,这样感兴趣的读者就可以自由地探索和结合他们认为合适的直觉知识和动机。
生成图模型
本书第三部分主要介绍了生成图模型的相关内容。
本章首先讨论图生成的传统方法,并且这些传统方法早于大多数图表示学习研究,甚至是通常的机器学习研究。此外,本章讨论的方法为之后出现的基于深度学习的方法奠定了基础。
本章介绍了一系列基础的图的深度生成模型,这些模型在创建通用深度生成模型过程中通常采用三种最流行的方法,分别为变分自编码器(VAE)、生成对抗网络(GAN)和自回归模型。作者将重点介绍这些深度生成模型的简单和通用变体,提供了详细的细节解读以及必要的参考文献。
作者介绍
William Hamilton 于 2018 年取得斯坦福大学计算机科学博士学位,现为加拿大麦吉尔大学计算机科学助理教授,同时还担任加拿大高等研究院(CIFAR)人工智能主席以及 Mila 魁北克 AI 研究所(Mila AI Institute of Quebec)成员。 William 在学生时代取得了诸多荣誉,他曾先后荣获 2013 年度 ACM 本科生研究者荣誉提名、2014 年度加拿大 AI 协会(CAIAC)最佳 AI 主题硕士论文奖,以及 2018 年度斯坦福大学 Arthur Samuel 最佳计算机科学博士论文奖。
他的研究兴趣主要是机器学习、网络科学和自然语言处理的结合应用,目前专注于图表示学习领域的快速发展项目。目前他在 Google Scholar 上的论文总引用量在 5000 以上。