大合集 | GNN相关视频/博客/代码等

下面是Sergey Ivanov@twitter总结的图网络，图机器学习相关领域 最近一段时间相关的视频，博客，代码等相关资料，小编@深度学习与图网络做了补充，希望对大家的研究有所帮助。

1. 视频Videos

1.1 几何深度学习@ML Street Talk.(9月19)

这是Michael Bronstein, Petar Veličković, Taco Cohen and Joan Bruna等几位大佬在ML Street Talk的视频，视频讨论了最近几何深度学习的发展以及他们的书。

视频地址： https://www.youtube.com/watch?v=bIZB1hIJ4u8

分享者

Professor Michael Bronstein 

https://www.imperial.ac.uk/people/m.bronstein 

https://twitter.com/mmbronstein

Dr. Petar Veličković

https://twitter.com/PetarV_93

https://petar-v.com/

Dr. Taco Cohen

https://twitter.com/TacoCohen

https://tacocohen.wordpress.com/

Prof. Joan Bruna

https://twitter.com/joanbruna

https://cims.nyu.edu/~bruna/

1.2 图学习Workshop (9.16) 

这是由斯坦福大学组织的一次workshop, 内容包括图学习的应用，框架，工业应用等，下面小编列上一些日程的安排。

0:44:42 Jure Leskovec, Stanford -- Welcome and Overview of Graph Representation Learning

1:12:19 Matthias Fey, TU Dortmund -- PyG 2.0: Advanced Representation Learning on Graphs

2:29:42 Industry panel - Andrew Zhai, Pinterest; Jaewon Yang, LinkedIn; Benedek Rozemberczki, AstraZeneca; Hatem Helal, Graphcore; Nadia Fawaz, Pinterest (moderator)

4:43:49 Jan Eric Lenssen, TU Dortmund -- Applications to Graphics and Vision

视频地址：https://www.youtube.com/watch?v=NKZdqCi5fVE

1.3 几何深度学习课程（GDL）

这个课程比较前沿，涉及到set, group等概念。之前咱们也有所介绍： 重磅！《几何深度学习》课程发布！帝国理工/DeepMind等图ML大牛共同讲授: 从图几何到深度学习

作为非洲机器智能硕士课程(AMMI 2021)的一部分，作者提供了一门关于几何深度学习(GDL100)的课程，它紧跟GDL原型书的内容。

几何深度学习是从对称性和不变性的角度对广泛的ML问题进行几何统一的尝试。这些原理不仅是卷积神经网络的突破性性能和图神经网络的近期成功的基础，而且还为构造新型的特定于问题的归纳偏差提供了一种有原则的方法。

https://geometricdeeplearning.com/lectures/

https://arxiv.org/abs/2104.13478

1.4 GNN User Group Videos

包括DGL库新特性的讨论

关于大型图和locally private GNN 存储节点特征的两个研究的talk。

https://www.youtube.com/watch?v=nctpGjhhjro

1.5 用于新物理发现的可解释深度学习

在本视频中，Miles Cranmer 讨论了一种使用一组特定的归纳偏置将神经网络转换为解析方程的新方法。有了它，可以从数据中发现了引力和行星质量；一种利用宇宙空隙和暗物质晕进行宇宙学的技术； 如何从接受湍流数据训练的图神经网络中提取欧拉方程。

https://www.youtube.com/watch?v=HKJB0Bjo6tQ

1.6 LOGML Videos 

一个summer school的课程，包含有关图 ML的项目和讨论

https://www.logml.ai/

https://www.youtube.com/channel/UC7m0STJK9e4BbD-elwS4bNw/videos

ICML 2021 Videos

ICML接收了50多篇关于图网络的论文，关于他们的视频现在可以看到了。

视频地址：https://icml.cc/virtual/2021/session/11968

论文地址：https://github.com/naganandy/graph-based-deep-learning-literature/blob/master/conference-publications/folders/publications_icml21/README.md

2 代码/软件等

2.1 PyG2.0

当前最流行和广泛使用的 GNN 库 PyG（PyTorch Geometric）现在出 2.0 版本了，新版本提供了全面的异构图支持、GraphGam 以及很多其他特性， 这一系列改进，为使用者带来了更好的用户体验。

PyTorch Geometric（PyG）是一个构建于 PyTorch 之上的库，用来为一系列与结构化数据相关的应用编写和训练图神经网络（GNN）。PyG 对机器学习研究者以及机器学习工具包的首次使用者都很友好。

就其特征和功能而言，PyG 具有易用和统一的 API，用户花费更少的时间在实现和运行图神经网络的底层机制上，只需要 10 至 20 行代码就可以训练自定义 GNN 模型。PyG 涵盖了大量的 SOTA GNN 架构以及训练和可扩展流程，并且易于扩展以匹配用户自己的特定用例或进行自己的 GNN 研究。

2.2 DGL0.7

DGL v0.7 brings improvements on the low-level system infrastructure as well as on the high-level user-facing utilities. Among improvements are GPU-based neighbor sampling that removes the need to move samples from CPU to GPU, improved CPU message-passing kernel, DGL Kubernetes Operator, and search over existing models and applications.

https://www.dgl.ai/release/2021/07/26/release.html

https://docs.dgl.ai/en/0.7.x/guide_cn/index.html

3. 博客

3.1 PDE与GNN

用PDE(偏微分方程建模图神经网络的package)图神经网络 (GNN) 与控制图信息扩散的微分方程密切相关。将 GNN 视为偏微分方程 (PDE) 那么出现了一类新的 GNN，它们能够以非常基础的方式解决当前 Graph ML模型的一些突出问题，例如深度、过度平滑、瓶颈和图重新布线。

https://towardsdatascience.com/graph-neural-networks-as-neural-diffusion-pdes-8571b8c0c774

3.2 不关心顺序：GNN与集合

在机器学习中，我们会遇到输入或特征向量集合形式的集合。重要的是，这些集合没有内在的排序，这将它们与图像或音频数据区分开来。具有此属性的示例很多：从 LIDAR 传感器获得的点云、一起形成分子的一组原子或图像中的对象集合。在所有这些场景中，都会经常使用神经网络。基于集合的问题与其他深度学习任务（例如图像分类）略有不同。当根据组成原子及其位置对分子进行分类时，这些顺序无关紧要。这种对称性让我们有机会在网络中构建有用的归纳偏置。该模型可以学会不关心排序，但是如果我们还可以选择使其按设计排列不变，那将浪费训练数据和计算时间。

https://fabianfuchsml.github.io/learningonsets/

3.3 直观地理解GNN

As the last bow of Distill.pub, the authors prepared two very cool articles breaking down message passing and graph convolutions: A Gentle Introduction to Graph Neural Networks and Understanding Convolutions on Graphs.

3.4 KG@ACL2021

Michael Galkin 更新 KG 在NLP领域中的 SOTA 应用。今年的重点是神经数据库和检索、KG 增强语言模型、KG 嵌入和链接预测、实体对齐、KG 构建、实体链接、关系提取、KGQA：时间、会话和 AMR。

https://towardsdatascience.com/knowledge-graphs-in-natural-language-processing-acl-2021-6cac04f39761#af08

3.5 图论文阅读Group

A graph and geometry reading group organized by Hannes Stärk with supervision from Pietro Liò at Cambridge. It includes many interesting fresh papers on graphs.

最近的论文分享安排

9.21 Rethinking Graph Transformers with Spectral Attention

9.28 FLAG: Adversarial Data Augmentation for Graph Neural Networks

10.12 On Explainability of Graph Neural Networks via Subgraph Explorations

...

https://hannes-stark.com/logag-reading-group

3.6 Graph在工业上的应用

Complementary to the Stanford’s event above, we organize a mini-workhop that would gather industry researchers to talk about their experience of applying graph models in production. Our motivation was an apparent shortage of industry applications for GNNs and graph embeddings in the real-world and desire to share success stories and pain points of those who go from research to production. Please, join us at the Zoom and YouTube on 23rd September, 17-00 Paris time (should be more or less time-friendly for most of the time zones).

https://www.youtube.com/watch?v=bLN1V5fZD2g