几何深度学习有何进展？252页ppt《几何深度学习》2022夏令营报告，牛津大学Twiter大牛Bronstein主讲

2022 年 8 月 3 日 专知

【导读】几何深度学习是当下的研究热点。如何进行深度理解？Pescara2022夏令营，来自牛津大学教授，Twitter 图机器学习研究负责人Michael Bronstein进行了关于几何深度学习报告，并以视频讲解，生动形象，值得学习!

Michael Bronstein，伦敦帝国理工学院教授，Twitter 图机器学习研究负责人，CETI 项目机器学习领导、Twitter 图机器学习负责人、研究员、教师、企业家和投资者。

https://www.imperial.ac.uk/people/m.bronstein

《几何深度学习》导论

过去几年里，深度学习在许多异质领域取得了令人印象深刻的成功:图像识别、游戏、生物学、自然语言处理，等等。然而，要真正理解这些成就背后的数学原理，我们还有很长的路要走。除了本身具有理论意义之外，理解为什么这些技术如此有效，肯定会提高它们的性能，扩大它们的应用领域。

几何深度学习(GDL)是一个很有前途的研究方向。GDL提出了一种统一的方法来理解为什么不同的体系结构(如CNN、LSTM、图神经网络、transformer)如此成功。强大的基本思想是，每当要逼近的函数被一组对称G不变/等变时，G不变/等变应该在体系结构中进行编码。例如，这就是为什么通过权值共享实现翻译等效的CNN在图像识别上工作得如此好，这是一个自然的翻译等效任务。

意大利第一所几何深度学习学校是位于意大利的第一所GDL强化学校。这将在意大利建立一个GDL社区，与其他欧洲国家建立联系，并最终促进GDL的研究。

一门有针对性的密集课程是使学生能够解决GDL的理想设置，否则这一领域将需要几个不同技能的单独训练，从群论和微分几何，到图论、概率论和深度学习。

目标受众包括计算机科学、数学、物理和统计专业的研究生，以及博士后和年轻研究人员。任何以数量为导向的学生都是受欢迎的，并将提供先决条件清单。

“对称，无论你如何定义它的意义，是一个概念，古今中外的人类试图通过它来理解和创造秩序、美和完美。”这个诗意的定义来自于伟大的数学家赫尔曼·韦尔，他被认为奠定了现代宇宙理论的基础。另一位伟大的物理学家菲利普·安德森(Philip Anderson)说:“把物理学说成是对对称性的研究只是稍微夸张了一点。”

在数学中，对称性在19世纪的几何基础中起着至关重要的作用。现在，它可能会对另一个新兴领域产生类似的影响。深度学习在最近几十年取得的成功意义重大——从革命性的数据科学，到计算机视觉、棋盘游戏和蛋白质折叠方面的里程碑式成就。与此同时，由于缺乏统一的原则，很难理解不同神经网络架构之间的关系，从而导致对相同概念的再创造和再品牌化。

迈克尔·布朗斯坦(Michael Bronstein)是伦敦帝国理工学院(Imperial College London)的教授，也是推特(Twitter)图ML研究的负责人，他致力于通过对称的视角实现深度学习的几何统一。在ICLR 2021年的主题演讲中，他提出了一个共同的数学框架来研究最成功的网络架构，给出了一个建设性的程序，以原则性的方式构建未来的机器学习，可以应用于新的领域，如社会科学，生物学和药物设计。

近两千年来，“几何”这个词一直是欧几里得几何的同义词，因为没有其他类型的几何存在。欧几里得的垄断在19世纪结束了，当时有多个非欧几里得几何的例子被构造出来。然而，这些研究迅速分化到不同的领域，数学家们争论不同几何之间的关系和什么定义一个。Felix Klein在他的Erlangen程序中提出了一种摆脱这种困境的方法，他提出将几何近似为使用群论语言研究不变量或对称性。在20世纪，这些思想是现代物理学发展的基础，并在标准模型(Standard Model)中达到顶峰。

深度学习的现状与19世纪的几何领域有些相似: 一方面，在过去的十年中，深度学习给数据科学带来了一场革命，使许多以前被认为是无法实现的任务成为可能，包括计算机视觉、下围棋或蛋白质折叠。与此同时，我们有各种各样的神经网络架构，但很少有统一的原则。在过去，很难理解不同的方法之间的关系，不可避免地导致相同概念的重新发明和重新命名。

几何深度学习的目标是在Erlangen项目的精神下将几何统一引入深度学习。它提供了一个共同的数学框架来研究最成功的神经网络架构，如CNNs、RNNs、GNNs和transformer，并提供了一个建设性的过程来将先前的知识融入到神经网络中，并以一种原理性的方式构建未来的架构。在这次演讲中，我将概述关于网格、图和流形几何深度学习的数学原理，并展示这些方法在广泛的领域中令人兴奋和开创性的应用。

Klein 的爱尔兰根纲领将几何学定义为研究在某类变换下保持不变的性质。我们通过保持面积、距离、角度、平行结构不变的刚性变换（建模为等距群）定义 2 维欧氏几何。仿射变换将保持平行结构，但并不能保证距离或面积不变。射影变换的不变性最弱，只保持交点和交比不变，对应于以上三种变换中最大的群。因此，Klein 认为射影几何是最为通用的。