GNN在几何深度学习有何进展？斯坦福CS224W《几何深度学习》课程报告，DeepMind大牛Petar主讲，附112页ppt

【导读】几何深度学习是当下的研究热点。关于GNN类有何进展？最近斯坦福CS224W课程上，来自DeepMind大牛Petar Veličković进行了关于几何深度学习报告，讲述几何深度学习下GNN的相关特性，值得学习!

几何深度学习的目标是在Erlangen项目的精神下将几何统一引入深度学习。它提供了一个共同的数学框架来研究最成功的神经网络架构，如CNNs、RNNs、GNNs和transformer，并提供了一个建设性的过程来将先前的知识融入到神经网络中，并以一种原理性的方式构建未来的架构。

Klein 的爱尔兰根纲领将几何学定义为研究在某类变换下保持不变的性质。我们通过保持面积、距离、角度、平行结构不变的刚性变换（建模为等距群）定义 2 维欧氏几何。仿射变换将保持平行结构，但并不能保证距离或面积不变。射影变换的不变性最弱，只保持交点和交比不变，对应于以上三种变换中最大的群。因此，Klein 认为射影几何是最为通用的。

图注：现代的深度学习——有各种各样的架构，但是缺乏统一的原理。

图注：几何深度学习的“ 5G”图景：网格，群（具有全局对称性的均匀空间），图（以及作为特定情况的集合）和流形，其中几何先验通过全局等距不变性（可以使用测地线表示） 和局部规范对称性显现。

报告目录内容：

1 高维空间学习难度 Learning in high dimensions is hard

2 对称，群组和不变性，Symmetries, Groups and Invariances

3 几何深度学习蓝图 The Blueprint of Geometric Deep Learning

4 及和深度学习5G。The “5G” of Geometric Deep Learning

5 图神经网络的几何深度视角 Geometric DL Perspective on Graph Neural Networks

6 排列等变换是GNN Permutation equivariant NNs are GNNs

7 The Fourier connection: CNNs and Spectral GNNs

8 The Group connection: Spherical CNNs

9 Geometric Graphs, Geodesics and Gauges

A Further resources

Petar Veličković

Petar Veličković现为 DeepMind Staff科学家。他于 2019 年从剑桥大学获得计算机科学博士学位，导师为 Pietro Liò。他的研究方向包括：设计在复杂结构数据上运行的神经网络架构（如图网络），及其在算法推理和计算生物学方面的应用。

Petar Veličković是图注意力网络的一作，他和 Guillem Cucurull、Yoshua Bengio 等人一起完成了图注意力网络的开山之作——《Graph Attention Networks》，这篇论文被 ICLR 2018 接收，目前被引量超过 3000。

除了图注意力网络，他还是《Deep Graph Infomax》的一作。在这篇论文中，他和 William Fedus、Yoshua Bengio 等人提出了以无监督方式学习图结构数据中节点表示的通用方法，该论文被 ICLR 2019 接收。

去年，机器之心曾报道过他的博士论文，Petar 用 147 页篇幅详述了「结构在神经网络中的复兴」，涵盖他之前的研究工作和其他关于 GNN 的内容。而今天介绍的这个讲座更是融合了他「近 4 年 GNN 研究的精华」，对图神经网络领域感兴趣的读者可以一看。

个人主页地址：https://petar-v.com/

附属材料：

斯坦福CS224W《图机器学习》2021课程开始了！Jure Leskovec大牛主讲，附课程PPT下载

重磅！《几何深度学习》新书发布，帝国理工/DeepMind等图ML大牛共同撰写，160页pdf阐述几何DL基础原理和统一框架

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“GDL112” 就可以获取《GNN在几何深度学习有何进展？斯坦福CS224W《几何深度学习》课程报告，DeepMind大牛Petar主讲，附112页ppt》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源