图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

图神经网络(Graph Neural Networks, GNN)专知荟萃

入门

综述

  • A Comprehensive Survey on Graph Neural Networks. Zonghan Wu, Shirui Pan, Fengwen Chen, Guodong Long, Chengqi Zhang, Philip S. Yu. 2019
    https://arxiv.org/pdf/190-00596.pdf
  • Relational inductive biases, deep learning, and graph networks. Peter W. Battaglia, Jessica B. Hamrick, Victor Bapst, Alvaro Sanchez-Gonzalez, Vinicius Zambaldi, Mateusz Malinowski, Andrea Tacchetti, David Raposo, Adam Santoro, Ryan Faulkner, Caglar Gulcehre, Francis Song, Andrew Ballard, Justin Gilmer, George Dahl, Ashish Vaswani, Kelsey Allen, Charles Nash, Victoria Langston, Chris Dyer, Nicolas Heess, Daan Wierstra, Pushmeet Kohli, Matt Botvinick, Oriol Vinyals, Yujia Li, Razvan Pascanu. 2018.
    https://arxiv.org/pdf/1806.0126-pdf
  • Attention models in graphs. John Boaz Lee, Ryan A. Rossi, Sungchul Kim, Nesreen K. Ahmed, Eunyee Koh. 2018.
    https://arxiv.org/pdf/1807.07984.pdf
  • Deep learning on graphs: A survey. Ziwei Zhang, Peng Cui and Wenwu Zhu. 2018.
    https://arxiv.org/pdf/1812.04202.pdf
  • Graph Neural Networks: A Review of Methods and Applications. Jie Zhou, Ganqu Cui, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu, Maosong Sun. 2018
    https://arxiv.org/pdf/1812.08434.pdf
  • Geometric deep learning: going beyond euclidean data. Michael M. Bronstein, Joan Bruna, Yann LeCun, Arthur Szlam, Pierre Vandergheynst. 2016.
    https://arxiv.org/pdf/161-08097.pdf

进阶论文

Recurrent Graph Neural Networks

Convolutional Graph Neural Networks

Spectral and Spatial

Architecture

Attention Mechanisms

Convolution

Training Methods

Pooling

Bayesian

Analysis

GAE

Spatial-Temporal Graph Neural Networks

应用

Physics

Knowledge Graph

Recommender Systems

  • STAR-GCN: Stacked and Reconstructed Graph Convolutional Networks for Recommender Systems. Jiani Zhang, Xingjian Shi, Shenglin Zhao, Irwin King. IJCAI 2019.
    https://arxiv.org/pdf/1905.13129.pdf

  • Binarized Collaborative Filtering with Distilling Graph Convolutional Networks. Haoyu Wang, Defu Lian, Yong Ge. IJCAI 2019.
    https://arxiv.org/pdf/1906.01829.pdf

  • Graph Contextualized Self-Attention Network for Session-based Recommendation. Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang, Xiaofang Zhou. IJCAI 2019.
    https://www.ijcai.org/proceedings/2019/0547.pdf

  • Session-based Recommendation with Graph Neural Networks. Shu Wu, Yuyuan Tang, Yanqiao Zhu, Liang Wang, Xing Xie, Tieniu Tan. AAAI 2019.
    https://arxiv.org/pdf/181-00855.pdf

  • Geometric Hawkes Processes with Graph Convolutional Recurrent Neural Networks. Jin Shang, Mingxuan Sun. AAAI 2019.
    https://jshang2.github.io/pubs/geo.pdf

  • Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender Systems. Hongwei Wang, Fuzheng Zhang, Mengdi Zhang, Jure Leskovec, Miao Zhao, Wenjie Li, Zhongyuan Wang. KDD 2019.
    https://arxiv.org/pdf/1905.04413

  • Exact-K Recommendation via Maximal Clique Optimization. Yu Gong, Yu Zhu, Lu Duan, Qingwen Liu, Ziyu Guan, Fei Sun, Wenwu Ou, Kenny Q. Zhu. KDD 2019.
    https://arxiv.org/pdf/1905.07089

  • KGAT: Knowledge Graph Attention Network for Recommendation. Xiang Wang, Xiangnan He, Yixin Cao, Meng Liu, Tat-Seng Chua. KDD 2019.
    https://arxiv.org/pdf/1905.07854

  • Knowledge Graph Convolutional Networks for Recommender Systems. Hongwei Wang, Miao Zhao, Xing Xie, Wenjie Li, Minyi Guo. WWW 2019.
    https://arxiv.org/pdf/1904.12575.pdf

  • Dual Graph Attention Networks for Deep Latent Representation of Multifaceted Social Effects in Recommender Systems. Qitian Wu, Hengrui Zhang, Xiaofeng Gao, Peng He, Paul Weng, Han Gao, Guihai Chen. WWW 2019.
    https://arxiv.org/pdf/1903.10433.pdf

  • Graph Neural Networks for Social Recommendation. Wenqi Fan, Yao Ma, Qing Li, Yuan He, Eric Zhao, Jiliang Tang, Dawei Yin. WWW 2019.
    https://arxiv.org/pdf/1902.07243.pdf

  • Graph Convolutional Neural Networks for Web-Scale Recommender Systems. Rex Ying, Ruining He, Kaifeng Chen, Pong Eksombatchai, William L. Hamilton, Jure Leskovec. KDD 2018.
    https://arxiv.org/abs/1806.01973

  • Geometric Matrix Completion with Recurrent Multi-Graph Neural Networks. Federico Monti, Michael M. Bronstein, Xavier Bresson. NIPS 2017.
    https://arxiv.org/abs/1704.06803

  • Graph Convolutional Matrix Completion. Rianne van den Berg, Thomas N. Kipf, Max Welling. 2017.
    https://arxiv.org/abs/1706.02263

Computer Vision

Natural Language Processing

Others

Tutorial

视频教程

代码

领域专家

VIP内容

异构图中具有丰富多样的节点和连边信息,传统的同构化异构图的方法将带来异构性损失。基于手工元路径或元图等的关系型图神经网络依赖固有实体关系,在细粒度任务中存在挑战。为此,该文提出了一个全新的强化、递归且可扩展的由邻域选择引导的多关系图神经网络架构 RioGNN。

本文由北京航空航天大学、美国伊利诺伊大学芝加哥分校和英国利兹大学联合完成。相关成果已被中国计算机学会推荐A类国际期刊ACM TOIS录用。

图神经网络(GNNs)已被广泛用于各种结构化图数据的表示学习,通常是通过不同操作聚合节点的邻域信息,在节点之间传递消息。尽管前景看好,但大多数现有 GNN 过分简化了图中边的复杂性和多样性,因此无法处理普遍存在的异构图(通常以多关系图表示形式)。基于手工元路径或元图等的关系型图神经网络依赖固有实体关系,在细粒度任务中存在挑战。为此,该文提出了一个全新的强化、递归且可扩展的由邻域选择引导的多关系图神经网络架构 RioGNN。

本文主要针对具有节点级嵌入的任务,以半监督方式学习多关系节点表示。我们使用 Yelp、Amazon 和 Mick-III 数据集,将 RioGNN 应用于欺诈检测和糖尿病检测两项任务,评估其有效性、效率和可解释性。实验评估了如何定义下游任务,包括转换节点分类、归纳节点分类和节点聚类。结果表明,与最先进的 GNN 以及专用异构模型相比,RioGNN 的各种下游任务显着提高了 0.70%–32.78%。我们表明,我们的 RSRL 框架不仅将学习时间提高了 4.52 倍,而且在节点分类方面也实现了 4.90% 的改进。我们还在上述任务中评估了 RioGNN 对超参数的敏感性。最后,我们进行了一系列案例研究,以展示 RSRL 如何自动学习不同任务中隐式关系的重要性和参与度。

在实际应用中,我们对多关系图进行建模,以半监督学习的方式将实际问题作为节点分类任务。根据领域知识构建多关系图后,例如垃圾评论检测、疾病诊断等,可以训练多关系 GNN。然而,当我们训练更具辨别力、有效和可解释的节点嵌入时,多关系 GNN 面临三个主要挑战:

如何在 GNN 中的邻居聚合期间处理行为不当的节点(挑战 1)。 输入节点的特征 X 通常基于启发式方法(例如 TF-IDF、Bag-of-Words、Doc2Vec 等)提取,容易受到以下不当行为的影响:对抗性攻击、伪装或简单的不精确特征选择。因此,中心节点的数值嵌入往往会被行为不当的相邻节点同化。例如,在垃圾邮件评论检测任务中,对抗性或伪装行为是不可忽略的噪声,会大大降低 GNN 学习特征表示的准确性。特征或关系伪装可以使行为不当和良性实体的特征相似,并进一步误导 GNN 生成无信息的节点嵌入。在医学疾病诊断任务中,基于文本属性的特征选择可能无法提取高级或细粒度的语义,从而容易导致节点特征不精确。因此,在应用于任何 GNN 之前,这些问题需要有效的相似性度量来过滤邻居。

如何基于相似性度量自适应地选择最合适的邻居节点(挑战2)。 对于大多数实际问题,数据标注是昂贵的,我们无法通过数据标注来选择每个关系下的所有相似邻居。直接将过滤阈值视为超参数的方法不再适用于具有大量噪声或行为不当节点的多个关系图。首先,不同的关系具有不同的特征相似度和标签相似度。其次,不同的关系对过滤阈值有不同的精度要求。因此,必须设计自适应采样机制,以便可以针对动态环境中的特定关系要求选择最佳数量的相似邻居。

如何以连续的方式高效地学习和优化过滤阈值(挑战 3)。 我们的初步工作采用了具有固定策略的伯努利多臂老虎机框架来加强过滤阈值的学习。然而,它实质上受到状态的观察范围和手动指定策略的限制,因此过滤阈值的最终收敛结果往往是局部最优的。此外,为了保持预测精度,面对大规模数据集,必须减小过滤阈值的调整步长或使用连续动作空间。这个过程无疑会扩大动作空间,导致收敛周期的增加和计算量的巨大增长,可能会损失准确性。因此,这个问题需要一个自动且高效的强化学习框架,能够快速获得充足且高质量的解决方案。

相应的,我们的工作贡献总结如下:

  • 第一个基于多关系图的任务驱动GNN框架,充分利用关系采样、消息传递、度量学习和强化学习来指导不同关系内部和之间的邻居选择。

  • 一种灵活的邻域选择框架,该框架采用增强的关系感知邻域选择器和标签感知神经相似性邻域度量。

  • 一种递归的、可扩展的强化学习框架,通过对不同规模的图形或任务的可估计深度和宽度来学习优化的过滤阈值。

  • 第一次从不同关系的重要性角度研究多关系GNN的可解释性。

我们在前期工作的基础上进行了扩展,将专门针对伪装欺诈者的欺诈检测器的防伪装 GNN(CARE-GNN)模型扩展到支持广泛实际任务的更通用体系结构。具体来说,改进包括:

给出了不同实际任务下多关系图神经网络的定义、动机和目标的完整版本;将标签感知的相似性邻居度量从一层扩展到多层以选择相似的邻居;

提出了一种新颖的递归和可扩展的强化学习框架,以通用且高效的方式优化每个关系的过滤阈值以及 GNN 训练过程,而不是之前的伯努利多臂老虎机方法;

在强化学习框架下,同时利用离散和连续策略寻找不同关系的最优邻居;

对三个有代表性的通用数据集进行广泛的实验,不局限于欺诈检测场景。

此外,还讨论了更深入的实验结果,以证明所提出架构的有效性和效率。我们提供多关系图表示学习结果的方差。我们还基于提议的 RSRL 框架的过滤阈值,从一个新的角度展示了对不同关系重要性的解释。

成为VIP会员查看完整内容
0
9

最新论文

Most state-of-the-art Graph Neural Networks (GNNs) can be defined as a form of graph convolution which can be realized by message passing between direct neighbors or beyond. To scale such GNNs to large graphs, various neighbor-, layer-, or subgraph-sampling techniques are proposed to alleviate the "neighbor explosion" problem by considering only a small subset of messages passed to the nodes in a mini-batch. However, sampling-based methods are difficult to apply to GNNs that utilize many-hops-away or global context each layer, show unstable performance for different tasks and datasets, and do not speed up model inference. We propose a principled and fundamentally different approach, VQ-GNN, a universal framework to scale up any convolution-based GNNs using Vector Quantization (VQ) without compromising the performance. In contrast to sampling-based techniques, our approach can effectively preserve all the messages passed to a mini-batch of nodes by learning and updating a small number of quantized reference vectors of global node representations, using VQ within each GNN layer. Our framework avoids the "neighbor explosion" problem of GNNs using quantized representations combined with a low-rank version of the graph convolution matrix. We show that such a compact low-rank version of the gigantic convolution matrix is sufficient both theoretically and experimentally. In company with VQ, we design a novel approximated message passing algorithm and a nontrivial back-propagation rule for our framework. Experiments on various types of GNN backbones demonstrate the scalability and competitive performance of our framework on large-graph node classification and link prediction benchmarks.

0
0
下载
预览
Top