Model complexity is a fundamental problem in deep learning. In this paper we conduct a systematic overview of the latest studies on model complexity in deep learning. Model complexity of deep learning can be categorized into expressive capacity and effective model complexity. We review the existing studies on those two categories along four important factors, including model framework, model size, optimization process and data complexity. We also discuss the applications of deep learning model complexity including understanding model generalization capability, model optimization, and model selection and design. We conclude by proposing several interesting future directions.

24
下载
关闭预览

相关内容

元学习(meta learning) 最新进展综述论文
专知会员服务
232+阅读 · 2020年5月8日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
98+阅读 · 2019年10月12日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
68+阅读 · 2019年10月9日
多任务学习(Multi-task Learning)方法总结
极市平台
5+阅读 · 2020年4月26日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
小样本学习(Few-shot Learning)综述
PaperWeekly
119+阅读 · 2019年4月1日
Unsupervised Learning via Meta-Learning
CreateAMind
33+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
10+阅读 · 2018年4月27日
Hierarchical Disentangled Representations
CreateAMind
3+阅读 · 2018年4月15日
【论文】图上的表示学习综述
机器学习研究会
9+阅读 · 2017年9月24日
Arxiv
40+阅读 · 2021年5月3日
Arxiv
19+阅读 · 2021年1月25日
Recent advances in deep learning theory
Arxiv
44+阅读 · 2020年12月20日
Arxiv
5+阅读 · 2020年10月7日
A Survey on Bayesian Deep Learning
Arxiv
51+阅读 · 2020年7月2日
A Comprehensive Survey on Transfer Learning
Arxiv
104+阅读 · 2019年11月7日
Arxiv
44+阅读 · 2018年12月11日
Arxiv
14+阅读 · 2018年2月7日
小贴士
相关论文
Arxiv
40+阅读 · 2021年5月3日
Arxiv
19+阅读 · 2021年1月25日
Recent advances in deep learning theory
Arxiv
44+阅读 · 2020年12月20日
Arxiv
5+阅读 · 2020年10月7日
A Survey on Bayesian Deep Learning
Arxiv
51+阅读 · 2020年7月2日
A Comprehensive Survey on Transfer Learning
Arxiv
104+阅读 · 2019年11月7日
Arxiv
44+阅读 · 2018年12月11日
Arxiv
14+阅读 · 2018年2月7日
相关资讯
多任务学习(Multi-task Learning)方法总结
极市平台
5+阅读 · 2020年4月26日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
小样本学习(Few-shot Learning)综述
PaperWeekly
119+阅读 · 2019年4月1日
Unsupervised Learning via Meta-Learning
CreateAMind
33+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
10+阅读 · 2018年4月27日
Hierarchical Disentangled Representations
CreateAMind
3+阅读 · 2018年4月15日
【论文】图上的表示学习综述
机器学习研究会
9+阅读 · 2017年9月24日
Top
微信扫码咨询专知VIP会员