The last decade has witnessed an experimental revolution in data science and machine learning, epitomised by deep learning methods. Indeed, many high-dimensional learning tasks previously thought to be beyond reach -- such as computer vision, playing Go, or protein folding -- are in fact feasible with appropriate computational scale. Remarkably, the essence of deep learning is built from two simple algorithmic principles: first, the notion of representation or feature learning, whereby adapted, often hierarchical, features capture the appropriate notion of regularity for each task, and second, learning by local gradient-descent type methods, typically implemented as backpropagation. While learning generic functions in high dimensions is a cursed estimation problem, most tasks of interest are not generic, and come with essential pre-defined regularities arising from the underlying low-dimensionality and structure of the physical world. This text is concerned with exposing these regularities through unified geometric principles that can be applied throughout a wide spectrum of applications. Such a 'geometric unification' endeavour, in the spirit of Felix Klein's Erlangen Program, serves a dual purpose: on one hand, it provides a common mathematical framework to study the most successful neural network architectures, such as CNNs, RNNs, GNNs, and Transformers. On the other hand, it gives a constructive procedure to incorporate prior physical knowledge into neural architectures and provide principled way to build future architectures yet to be invented.


翻译:过去十年中,在数据科学和机器学习方面发生了一场实验性革命,以深层次学习方法为缩影。事实上,许多先前被认为无法完成的高层次学习任务,例如计算机视觉、玩游戏、或蛋白折叠等,实际上都是可行的,具有适当的计算规模。令人瞩目的是,深层次学习的精髓来自两个简单的算法原则:第一,代表或特征学习的概念,根据这种概念,每个任务都有适当的规律性概念,经常是等级性的特征,第二,地方梯度-白种方法的学习,通常作为反向调整实施。一方面,学习高维度通用功能是一个诅咒的估计问题,但大多数感兴趣的任务并不是通用的,而且具有因物理世界的基本低维度和结构而预先确定的基本规律性。这一案文涉及通过统一的几何原则来暴露这些规律性,这些原则可以适用于广泛的应用。在Felix Klein'的Erlangen 方案的精神下,这种“几何级统一”努力,通常是一个双重目的:一方面,它提供了一个共同的数学框架,用来研究最成功的普通的数学框架,而未来网络结构,例如GNISNR的架构,它提供最成功的结构。

16
下载
关闭预览

相关内容

【图与几何深度学习】Graph and geometric deep learning,49页ppt
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
128+阅读 · 2020年5月14日
【课程推荐】 深度学习中的几何(Geometry of Deep Learning)
专知会员服务
56+阅读 · 2019年11月10日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
57+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
145+阅读 · 2019年10月12日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
revelation of MONet
CreateAMind
5+阅读 · 2019年6月8日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
Arxiv
1+阅读 · 2021年6月17日
Arxiv
49+阅读 · 2021年5月9日
Arxiv
12+阅读 · 2019年3月14日
Hardness-Aware Deep Metric Learning
Arxiv
6+阅读 · 2019年3月13日
Generalization and Regularization in DQN
Arxiv
6+阅读 · 2019年1月30日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
Arxiv
15+阅读 · 2018年6月23日
Arxiv
5+阅读 · 2018年5月31日
Arxiv
8+阅读 · 2018年5月15日
VIP会员
相关资讯
revelation of MONet
CreateAMind
5+阅读 · 2019年6月8日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
相关论文
Arxiv
1+阅读 · 2021年6月17日
Arxiv
49+阅读 · 2021年5月9日
Arxiv
12+阅读 · 2019年3月14日
Hardness-Aware Deep Metric Learning
Arxiv
6+阅读 · 2019年3月13日
Generalization and Regularization in DQN
Arxiv
6+阅读 · 2019年1月30日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
Arxiv
15+阅读 · 2018年6月23日
Arxiv
5+阅读 · 2018年5月31日
Arxiv
8+阅读 · 2018年5月15日
Top
微信扫码咨询专知VIP会员