NeurIPS 2020有哪些值得读的「图神经网络」论文？
GNN在异质性图上的局限性
论文标题
：
Beyond Homophily in Graph Neural Networks: Current Limitations and Effective Designs
论文作者：
Jiong Zhu / Yujun Yan / Lingxiao Zhao / Mark Heimann / Leman Akoglu / Danai Koutra
论文来源：NeurIPS 2020
论文链接
：
http://www.paperweekly.site/papers/4732
这是一篇较为基础的 GNN 文章，主要分析了 GNN 在异质性较强（同质性较弱）的图数据上的局限性。异质性指的是相连的节点的标签有大量不同的标签或者不相似的特征。在这样的图数据上，现有的 GNN 泛化性很差甚至比不过 MLP。
受上述现象启发，作者提出了一个核心设计：ego Embedding 和 neighbor Embedding 的分离，这强化在异质性图上结构学习的能力。基于上述设计，一种更为强大的 GNN H2GCN 被提出，并取得了非常夸张的提升（提升幅度高达 40% 和 27%）。在同质性数据上，H2GCN 的效果也非常好。本文最大的贡献是分析了现有 GNN 在异质性强的图数据集上的局限性，这对于一大类图挖掘都是很有启发意义的。
异质图表示学习
论文标题
：
Self-supervised Auxiliary Learning with Meta-paths for Heterogeneous Graphs
论文作者：
Dasol Hwang / Jinyoung Park / Sunyoung Kwon / Kyung-Min Kim / Jung-Woo Ha / Hyunwoo J. Kim
论文来源：NeurIPS 2020
论文链接
：
http://www.paperweekly.site/papers/4731
代码链接：https://github.com/mlvlab/SELAR
这是一篇图上自监督学习的论文。GNN 作为一种图表示学习算法而广为人知。最近，一些工作发现表示学习可以通过一些辅助任务进一步提升。但是，异质图表示学习的辅助任务很少被探索。
为了弥补上述空白，本文探索了如何基于元路径来实现异质图表示学习的增强。元路径是一种关系序列，可以捕获多种丰富语义。作者将元路径预测作为辅助任务，这实际上是一种元学习技术。 最后，大量的实验验证了元路径辅助学习可以带来大量的效果提升，尤其是在链路预测任务上。
图池化技术
论文标题：
Rethinking pooling in graph neural networks
论文作者
：
Diego Mesquita / Amauri H. Souza / Samuel Kaski
论文来源：
NeurIPS 2020
论文链接：
http://www.paperweekly.site/papers/4729
代码链接：https://github.com/AaltoPML/Rethinking-pooling-in-GNNs
本文不是一篇常规的堆模型的文章。作者深入反思了现有的图池化技术。在图神经网络领域，各种图卷积技术得到广泛的研究，而图池化的相关技术则相对较少。尽管有一些图池化的工作 DiffPool 声称可以取得非常好的效果，但是在作者的深入分析之后并不认同。
具体来说，作者在能够保持局部结构的代表性 GNN 上，以随机或者聚类的方式进行了实验。惊人的是，两者的表现并不会有明显差异。为了理解上述现象，作者分析了卷积层和池化层之间的内部交互，然后发现：卷积层实际主导了表示学习过程，而池化层并没有做出足够的贡献。
图对比学习
论文标题：
Graph Contrastive Learning with Augmentations
论文作者：
Yuning You / Tianlong Chen / Yongduo Sui / Ting Chen / Zhangyang Wang / Yang Shen
论文来源：NeurIPS 2020
论文链接：
http://www.paperweekly.site/papers/4728
代码链接：
https://github.com/Shen-Lab/GraphCL
本文是一篇 GNN 自监督学习的文章。如何学习可泛化，可迁移及鲁棒的图表示对于现有的 GNN 仍然是个巨大的挑战。CNN 和图像数据上的自监督学习已经得到了广泛的研究，但是图上的自监督学习仍很少被探索。
因此，本文设计了一种针对无监督图表示学习的图对比学习框架 GraphCL。在该框架下，作者探索了 4 种不同先验下的图数据增强方法。考虑到半监督，无监督和迁移等任务，作者在很多数据集上系统的分析了不同图增强组合的影响。实验结果表明，作者所设计的 GraphCL 框架能够取得相似或者更优于 SOTA。
图神经网络
论文标题：
Path Integral Based Convolution and Pooling for Graph Neural Networks
论文作者：
Zheng Ma / Junyu Xuan / Yu Guang Wang / Ming Li / Pietro Lio
论文来源：
NeurIPS 2020
论文链接：
http://www.paperweekly.site/papers/4478
代码链接：https://github.com/YuGuangWang/PAN
图神经网络扩展了深度学习在图结构数据上的应用，如图卷积和图池化操作。本文借鉴了物理中的一些概念，设计了一种 path integral based graph neural networks (PAN)。
具体来说，PAN 考虑一种新颖的卷积操作，涉及到所有的 path 上消息的 sender 和 receiver，及一种与路径长度相关的可学习权重（对应于最大熵随机游走）。PAN 将图拉普拉斯泛化到一种新的转移矩阵 maximal entropy transition (MET) matrix。重要的是，MET 矩阵的对角线元素直接和子图中心性相关，因此提供了一种自然的自适应池化机制。最后，大量的实验（对比 SOTA）验证了 PAN 的有效性。
无监督学习
论文标题：
Erdős Goes Neural: an Unsupervised Learning Framework for Combinatorial Optimization on Graphs
论文作者：
Nikolaos Karalias / Andreas Loukas
论文来源：NeurIPS 2020
论文链接：
http://www.paperweekly.site/papers/4476
本文出自 EPFL 的大佬 Andreas Loukas 之手。众所周知，利用神经网络来求解组合优化问题是非常具有挑战性的一件事，这主要是因为缺少标签数据。本文巧妙地设计了一种图上无监督的框架用于组合优化问题，能够在保证质量的情况下提供完整的解。
受 Erdős probabilistic method 的启发，作者用神经网络去参数化一个概率分布。只要选取了适当的损失函数，神经网络可以学习到一个满足组合优化约束的分布，然后可以将其映射为一个期望的解。最后，作者在最大图和局部图聚类上验证了解的效果。
图元学习
论文标题：
Graph Meta Learning via Local Subgraphs
论文作者：
Kexin Huang / Marinka Zitnik
论文来源：
NeurIPS 2020
论文链接：
http://www.paperweekly.site/papers/4445
代码链接：https://github.com/mims-harvard/G-Meta
图神经网络架构
论文标题：
Principal Neighbourhood Aggregation for Graph Nets
论文作者：
Gabriele Corso / Luca Cavalleri / Dominique Beaini / Pietro Liò / Petar Veličković
论文链接：
http://www.paperweekly.site/papers/4448
代码链接：https://github.com/lukecavabarrett/pna
本文是 GAT 一作大佬 Petar 和剑桥大学强强联手的一篇文章。各种各样的 GNN 架构及其表达能力分析的文章已经很多了，但是他们主要在分析同构任务和可数特征空间。
本文对现有的理论框架进行了扩展，其实能够处理联系特征，这在真实世界的数据是非常常见的。同时，作者提出了 Principal Neighbourhood Aggregation (PNA)，一种考虑了 degree 的全新的 GNN 聚合器（泛化了现有的求和聚合器）。作者通过一些图例形象的解释了现有的各种聚合器的表示能力及其缺陷。最后，作者在基于经典的图论设计了很多全新的 benchmark，在多个数据集上验证了 PNA 的有效性。
更多阅读
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。
相关内容
微信扫码咨询专知VIP会员