深度学习在许多应用中具有破坏性,主要是由于其优越的性能。与此同时,关于深度学习的许多基本问题仍未得到解答。深度神经网络的模型复杂度就是其中之一。模型复杂性是指一个深度模型能够表达的问题有多复杂,以及具有给定参数的模型的函数有多非线性和复杂。

在机器学习、数据挖掘和深度学习中,模型复杂性一直是一个重要的基本问题。模型复杂度影响模型对特定问题和数据的可学习性,也影响模型对未知数据的泛化能力。此外,学习模型的复杂性不仅受到模型体系结构本身的影响,还受到数据分布、数据复杂性和信息量的影响。近年来,模型复杂性已成为一个越来越活跃的方向,并在模型体系结构搜索、图表示、泛化研究和模型压缩等许多领域发展了理论指导意义。

我们提出这个教程来概述关于深度学习模型复杂性的最新研究。本文将模型复杂性研究分为模型表达能力和有效模型复杂性两个方向,并对这两个方向的最新进展进行了综述。此外,我们还介绍了深度学习模型复杂性的一些应用实例,以说明其实用性。

目录内容:

Part 1: 深度学习模型复杂度 Deep Learning Model Complexity

Part 2: 表示容量 Expressive Capacity

Part 3: 有效性复杂度 Effective Complexity

Part 4: 应用实例 Application Examples

Part 5: Conclusion

https://www.sfu.ca/~huxiah/sdm21_tutorial.html

成为VIP会员查看完整内容
42

相关内容

【IJCAI2021】深度点击率预估模型综述论文,9页pdf
专知会员服务
27+阅读 · 2021年5月11日
【WSDM2021-Ttutorial】深度学习异常检测,111页ppt
专知会员服务
150+阅读 · 2021年3月10日
【CMU】深度学习模型中集成优化、约束和控制,33页ppt
专知会员服务
44+阅读 · 2020年5月23日
Perseus(擎天):统一深度学习分布式通信框架
云栖社区
4+阅读 · 2019年3月10日
清华大学图神经网络综述:模型与应用
机器之心
72+阅读 · 2018年12月26日
图神经网络综述:模型与应用
PaperWeekly
193+阅读 · 2018年12月26日
贝叶斯机器学习前沿进展
机器学习研究会
20+阅读 · 2018年1月21日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
23+阅读 · 2017年7月9日
Arxiv
0+阅读 · 2021年6月16日
Arxiv
9+阅读 · 2021年6月16日
A Modern Introduction to Online Learning
Arxiv
19+阅读 · 2019年12月31日
VIP会员
相关VIP内容
微信扫码咨询专知VIP会员