几何深度学习有何进展?252页ppt《几何深度学习》2022夏令营报告,牛津大学Twiter大牛Bronstein主讲

8 月 3 日 专知

【导读】几何深度学习是当下的研究热点。如何进行深度理解?Pescara2022夏令营,来自牛津大学教授,Twitter 图机器学习研究负责人Michael Bronstein进行了关于几何深度学习报告,并以视频讲解,生动形象,值得学习!






Michael Bronstein,伦敦帝国理工学院教授,Twitter 图机器学习研究负责人,CETI 项目机器学习领导、Twitter 图机器学习负责人、研究员、教师、企业家和投资者。

https://www.imperial.ac.uk/people/m.bronstein


《几何深度学习》导论


过去几年里,深度学习在许多异质领域取得了令人印象深刻的成功:图像识别、游戏、生物学、自然语言处理,等等。然而,要真正理解这些成就背后的数学原理,我们还有很长的路要走。除了本身具有理论意义之外,理解为什么这些技术如此有效,肯定会提高它们的性能,扩大它们的应用领域。

几何深度学习(GDL)是一个很有前途的研究方向。GDL提出了一种统一的方法来理解为什么不同的体系结构(如CNN、LSTM、图神经网络、transformer)如此成功。强大的基本思想是,每当要逼近的函数被一组对称G不变/等变时,G不变/等变应该在体系结构中进行编码。例如,这就是为什么通过权值共享实现翻译等效的CNN在图像识别上工作得如此好,这是一个自然的翻译等效任务。

意大利第一所几何深度学习学校是位于意大利的第一所GDL强化学校。这将在意大利建立一个GDL社区,与其他欧洲国家建立联系,并最终促进GDL的研究。

一门有针对性的密集课程是使学生能够解决GDL的理想设置,否则这一领域将需要几个不同技能的单独训练,从群论和微分几何,到图论、概率论和深度学习。

目标受众包括计算机科学、数学、物理和统计专业的研究生,以及博士后和年轻研究人员。任何以数量为导向的学生都是受欢迎的,并将提供先决条件清单。



“对称,无论你如何定义它的意义,是一个概念,古今中外的人类试图通过它来理解和创造秩序、美和完美。”这个诗意的定义来自于伟大的数学家赫尔曼·韦尔,他被认为奠定了现代宇宙理论的基础。另一位伟大的物理学家菲利普·安德森(Philip Anderson)说:“把物理学说成是对对称性的研究只是稍微夸张了一点。”


在数学中,对称性在19世纪的几何基础中起着至关重要的作用。现在,它可能会对另一个新兴领域产生类似的影响。深度学习在最近几十年取得的成功意义重大——从革命性的数据科学,到计算机视觉、棋盘游戏和蛋白质折叠方面的里程碑式成就。与此同时,由于缺乏统一的原则,很难理解不同神经网络架构之间的关系,从而导致对相同概念的再创造和再品牌化。


迈克尔·布朗斯坦(Michael Bronstein)是伦敦帝国理工学院(Imperial College London)的教授,也是推特(Twitter)图ML研究的负责人,他致力于通过对称的视角实现深度学习的几何统一。在ICLR 2021年的主题演讲中,他提出了一个共同的数学框架来研究最成功的网络架构,给出了一个建设性的程序,以原则性的方式构建未来的机器学习,可以应用于新的领域,如社会科学,生物学和药物设计。


近两千年来,“几何”这个词一直是欧几里得几何的同义词,因为没有其他类型的几何存在。欧几里得的垄断在19世纪结束了,当时有多个非欧几里得几何的例子被构造出来。然而,这些研究迅速分化到不同的领域,数学家们争论不同几何之间的关系和什么定义一个。Felix Klein在他的Erlangen程序中提出了一种摆脱这种困境的方法,他提出将几何近似为使用群论语言研究不变量或对称性。在20世纪,这些思想是现代物理学发展的基础,并在标准模型(Standard Model)中达到顶峰。


深度学习的现状与19世纪的几何领域有些相似: 一方面,在过去的十年中,深度学习给数据科学带来了一场革命,使许多以前被认为是无法实现的任务成为可能,包括计算机视觉、下围棋或蛋白质折叠。与此同时,我们有各种各样的神经网络架构,但很少有统一的原则。在过去,很难理解不同的方法之间的关系,不可避免地导致相同概念的重新发明和重新命名。


几何深度学习的目标是在Erlangen项目的精神下将几何统一引入深度学习。它提供了一个共同的数学框架来研究最成功的神经网络架构,如CNNs、RNNs、GNNs和transformer,并提供了一个建设性的过程来将先前的知识融入到神经网络中,并以一种原理性的方式构建未来的架构。在这次演讲中,我将概述关于网格、图和流形几何深度学习的数学原理,并展示这些方法在广泛的领域中令人兴奋和开创性的应用。


Klein 的爱尔兰根纲领将几何学定义为研究在某类变换下保持不变的性质。我们通过保持面积、距离、角度、平行结构不变的刚性变换(建模为等距群)定义 2 维欧氏几何。仿射变换将保持平行结构,但并不能保证距离或面积不变。射影变换的不变性最弱,只保持交点和交比不变,对应于以上三种变换中最大的群。因此,Klein 认为射影几何是最为通用的。


图注:现代的深度学习——有各种各样的架构,但是缺乏统一的原理。


图注:几何深度学习的“ 5G”图景:网格,群(具有全局对称性的均匀空间),图(以及作为特定情况的集合)和流形,其中几何先验通过全局等距不变性(可以使用测地线表示) 和局部规范对称性显现。

《几何深度学习》新书


重磅!《几何深度学习》新书发布,帝国理工/DeepMind等图ML大牛共同撰写,160页pdf阐述几何DL基础原理和统一框架



  • 我们研究了流行的深度学习架构(CNNs, GNNs, transformer, LSTMs)的本质,并意识到,只要有一组合适的对称,我们就可以等价它们,它们都可以用一个通用的几何框架来表达。


  • 更进一步,我们在一些不太标准的领域(如同质群和流形)上使用了我们的框架,这表明框架可以很好地表达这些领域的最新进展,如球形CNN, SO(3)-变换器,和规范-等变网格CNNs。


  • 几何深度学习的“5G”:网格、组(具有全局对称性的齐次空间)、图(以及作为特定情况的集)和流形,其中几何先验通过全局等距不变(可以用测地线表示)和局部规范对称来表现




专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“G252” 就可以获取几何深度学习有何进展?252页ppt《几何深度学习》2022夏令营报告,牛津大学Twiter大牛Bronstein主讲》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料
登录查看更多
0

相关内容

国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年7月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 9月16日
Arxiv
18+阅读 · 3月31日
Arxiv
44+阅读 · 2021年5月3日
A Comprehensive Survey on Graph Neural Networks
Arxiv
19+阅读 · 2019年1月3日
Arxiv
10+阅读 · 2017年12月29日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年7月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Top
微信扫码咨询专知VIP会员