This paper addresses the growing need to process non-Euclidean data, by introducing a geometric deep learning (GDL) framework for building universal feedforward-type models compatible with differentiable manifold geometries. We show that our GDL models can approximate any continuous target function uniformly on compacts of a controlled maximum diameter. We obtain curvature dependant lower-bounds on this maximum diameter and upper-bounds on the depth of our approximating GDL models. Conversely, we find that there is always a continuous function between any two non-degenerate compact manifolds that any "locally-defined" GDL model cannot uniformly approximate. Our last main result identifies data-dependent conditions guaranteeing that the GDL model implementing our approximation breaks "the curse of dimensionality." We find that any "real-world" (i.e. finite) dataset always satisfies our condition and, conversely, any dataset satisfies our requirement if the target function is smooth. As applications, we confirm the universal approximation capabilities of the following GDL models: Ganea et al. (2018)'s hyperbolic feedforward networks, the architecture implementing Krishnan et al. (2015)'s deep Kalman-Filter, and deep softmax classifiers. We build universal extensions/variants of: the SPD-matrix regressor of Meyer et al. (2011), and Fletcher et al. (2009)'s Procrustean regressor. In the Euclidean setting, our results imply a quantitative version of Kidger and Lyons (2020)'s approximation theorem and a data-dependent version of Yarotsky and Zhevnerchuk (2020)'s uncursed approximation rates.


翻译:本文通过引入一个“ 本地定义” GDL 模型无法统一近似的任何“ 本地定义” GDL 模型, 从而满足处理非厄尔几里德数据日益增长的需求。 我们显示, 我们的 GDL 模型可以在受控最大直径的紧凑线上统一匹配任何连续目标功能。 我们从这个最大直径上获取曲线依赖较低限制的下限数据, 而从我们接近的 GDL 模型的深度上方获取任何数据。 相反, 我们发现, 在任何两个“ 本地定义” GDL 模型无法统一估计的、 非本地化的、 非本地化的、 本地化的、 本地化的、 本地化的、 本地化、 本地化、 本地化、 本地化、 本地化、 本地化、 本地化、 本地化、 本地化、 本地化、 本地化、 本地化、 地基、 地基、 地基、 地基、 地基、 地基、 地基、 地基、 地基、 地基、 地基、 地基、 地基、 地基、 地基、 地基、 地基、 地基、 地基、 根、 根、 基、 根、 根、 基、 根基、 基、 基、 基、 根基、 根、 基、 基、 基、 根、 基、 基、 基、 根、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 、 基、 、 、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、 基、

0
下载
关闭预览

相关内容

【图与几何深度学习】Graph and geometric deep learning,49页ppt
最新《几何深度学习》教程,100页ppt,Geometric Deep Learning
专知会员服务
100+阅读 · 2020年7月16日
【课程推荐】 深度学习中的几何(Geometry of Deep Learning)
专知会员服务
57+阅读 · 2019年11月10日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
“CVPR 2020 接受论文列表 1470篇论文都在这了
AI可解释性文献列表
专知
42+阅读 · 2019年10月7日
计算机 | 入门级EI会议ICVRIS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年6月24日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
深度学习NLP相关资源大列表
机器学习研究会
3+阅读 · 2017年9月17日
自然语言处理 (NLP)资源大全
机械鸡
35+阅读 · 2017年9月17日
Arxiv
0+阅读 · 2021年9月1日
Arxiv
0+阅读 · 2021年8月25日
Arxiv
5+阅读 · 2018年5月31日
Arxiv
8+阅读 · 2018年5月15日
VIP会员
相关VIP内容
相关资讯
“CVPR 2020 接受论文列表 1470篇论文都在这了
AI可解释性文献列表
专知
42+阅读 · 2019年10月7日
计算机 | 入门级EI会议ICVRIS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年6月24日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
深度学习NLP相关资源大列表
机器学习研究会
3+阅读 · 2017年9月17日
自然语言处理 (NLP)资源大全
机械鸡
35+阅读 · 2017年9月17日
Top
微信扫码咨询专知VIP会员