We describe the new field of mathematical analysis of deep learning. This field emerged around a list of research questions that were not answered within the classical framework of learning theory. These questions concern: the outstanding generalization power of overparametrized neural networks, the role of depth in deep architectures, the apparent absence of the curse of dimensionality, the surprisingly successful optimization performance despite the non-convexity of the problem, understanding what features are learned, why deep architectures perform exceptionally well in physical problems, and which fine aspects of an architecture affect the behavior of a learning task in which way. We present an overview of modern approaches that yield partial answers to these questions. For selected approaches, we describe the main ideas in more detail.


翻译:我们描述深层学习的数学分析新领域。这个领域围绕一系列研究问题出现,这些问题没有在传统的学习理论框架内得到回答。 这些问题涉及:过度平衡的神经网络的杰出普遍化力量、深度在深层建筑中的作用、明显缺乏多元性的诅咒、尽管问题不十分复杂却令人惊讶地成功地优化了绩效、了解了哪些特征、为什么深层建筑在物理问题中表现得特别好,以及建筑的精细方面如何影响学习任务的行为。我们概述了能够部分回答这些问题的现代方法。对于选定的方法,我们更详细地描述主要的想法。

49
下载
关闭预览

相关内容

深度学习搜索,Exploring Deep Learning for Search
专知会员服务
57+阅读 · 2020年5月9日
元学习(meta learning) 最新进展综述论文
专知会员服务
275+阅读 · 2020年5月8日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
161+阅读 · 2020年3月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
144+阅读 · 2019年10月12日
ICRA 2019 论文速览 | 基于Deep Learning 的SLAM
计算机视觉life
41+阅读 · 2019年7月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
Arxiv
18+阅读 · 2021年3月16日
Arxiv
32+阅读 · 2021年3月8日
A Survey of Deep Learning for Scientific Discovery
Arxiv
29+阅读 · 2020年3月26日
A Modern Introduction to Online Learning
Arxiv
19+阅读 · 2019年12月31日
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
4+阅读 · 2018年12月3日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
Arxiv
25+阅读 · 2018年1月24日
Arxiv
5+阅读 · 2018年1月14日
VIP会员
相关资讯
ICRA 2019 论文速览 | 基于Deep Learning 的SLAM
计算机视觉life
41+阅读 · 2019年7月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
相关论文
Arxiv
18+阅读 · 2021年3月16日
Arxiv
32+阅读 · 2021年3月8日
A Survey of Deep Learning for Scientific Discovery
Arxiv
29+阅读 · 2020年3月26日
A Modern Introduction to Online Learning
Arxiv
19+阅读 · 2019年12月31日
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
4+阅读 · 2018年12月3日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
Arxiv
25+阅读 · 2018年1月24日
Arxiv
5+阅读 · 2018年1月14日
Top
微信扫码咨询专知VIP会员