Model complexity is a fundamental problem in deep learning. In this paper we conduct a systematic overview of the latest studies on model complexity in deep learning. Model complexity of deep learning can be categorized into expressive capacity and effective model complexity. We review the existing studies on those two categories along four important factors, including model framework, model size, optimization process and data complexity. We also discuss the applications of deep learning model complexity including understanding model generalization capability, model optimization, and model selection and design. We conclude by proposing several interesting future directions.


翻译:模型复杂性是深层学习的一个根本问题。在本文件中,我们系统地概述了关于深层学习中模型复杂性的最新研究。深层学习的模型复杂性可以分为表现能力和有效模型复杂性。我们按照四个重要因素,包括示范框架、模型规模、优化过程和数据复杂性,审查关于这两类的现有研究。我们还讨论了深层学习模型复杂性的应用,包括理解模型的简单化能力、模型优化以及模型的选择和设计。我们最后提出了几个有趣的未来方向。

32
下载
关闭预览

相关内容

元学习(meta learning) 最新进展综述论文
专知会员服务
276+阅读 · 2020年5月8日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
146+阅读 · 2019年10月12日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
101+阅读 · 2019年10月9日
多任务学习(Multi-task Learning)方法总结
极市平台
6+阅读 · 2020年4月26日
Hierarchically Structured Meta-learning
CreateAMind
24+阅读 · 2019年5月22日
小样本学习(Few-shot Learning)综述
PaperWeekly
120+阅读 · 2019年4月1日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】图上的表示学习综述
机器学习研究会
13+阅读 · 2017年9月24日
Arxiv
56+阅读 · 2021年5月3日
Arxiv
24+阅读 · 2021年1月25日
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
Arxiv
7+阅读 · 2020年10月7日
A Survey on Bayesian Deep Learning
Arxiv
63+阅读 · 2020年7月2日
A Comprehensive Survey on Transfer Learning
Arxiv
119+阅读 · 2019年11月7日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
16+阅读 · 2018年2月7日
VIP会员
相关资讯
多任务学习(Multi-task Learning)方法总结
极市平台
6+阅读 · 2020年4月26日
Hierarchically Structured Meta-learning
CreateAMind
24+阅读 · 2019年5月22日
小样本学习(Few-shot Learning)综述
PaperWeekly
120+阅读 · 2019年4月1日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】图上的表示学习综述
机器学习研究会
13+阅读 · 2017年9月24日
相关论文
Arxiv
56+阅读 · 2021年5月3日
Arxiv
24+阅读 · 2021年1月25日
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
Arxiv
7+阅读 · 2020年10月7日
A Survey on Bayesian Deep Learning
Arxiv
63+阅读 · 2020年7月2日
A Comprehensive Survey on Transfer Learning
Arxiv
119+阅读 · 2019年11月7日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
16+阅读 · 2018年2月7日
Top
微信扫码咨询专知VIP会员