【导读】几何深度学习是当下的研究热点。关于GNN类有何进展?最近斯坦福CS224W课程上,来自DeepMind大牛Petar Veličković进行了关于几何深度学习报告,讲述几何深度学习下GNN的相关特性,值得学习!
几何深度学习的目标是在Erlangen项目的精神下将几何统一引入深度学习。它提供了一个共同的数学框架来研究最成功的神经网络架构,如CNNs、RNNs、GNNs和transformer,并提供了一个建设性的过程来将先前的知识融入到神经网络中,并以一种原理性的方式构建未来的架构。
报告目录内容:
1 高维空间学习难度 Learning in high dimensions is hard
2 对称,群组和不变性,Symmetries, Groups and Invariances
3 几何深度学习蓝图 The Blueprint of Geometric Deep Learning
4 及和深度学习5G。The “5G” of Geometric Deep Learning
5 图神经网络的几何深度视角 Geometric DL Perspective on Graph Neural Networks
6 排列等变换是GNN Permutation equivariant NNs are GNNs
7 The Fourier connection: CNNs and Spectral GNNs
8 The Group connection: Spherical CNNs
9 Geometric Graphs, Geodesics and Gauges
A Further resources