裴健等SDM2021「深度学习模型复杂性」教程，100页PPT阐述深度学习模型框架、模型规模、优化过程和数据复杂性

深度学习在许多应用中具有破坏性，主要是由于其优越的性能。与此同时，关于深度学习的许多基本问题仍未得到解答。深度神经网络的模型复杂度就是其中之一。模型复杂性是指一个深度模型能够表达的问题有多复杂，以及具有给定参数的模型的函数有多非线性和复杂。

在机器学习、数据挖掘和深度学习中，模型复杂性一直是一个重要的基本问题。模型复杂度影响模型对特定问题和数据的可学习性，也影响模型对未知数据的泛化能力。此外，学习模型的复杂性不仅受到模型体系结构本身的影响，还受到数据分布、数据复杂性和信息量的影响。近年来，模型复杂性已成为一个越来越活跃的方向，并在模型体系结构搜索、图表示、泛化研究和模型压缩等许多领域发展了理论指导意义。

我们提出这个教程来概述关于深度学习模型复杂性的最新研究。本文将模型复杂性研究分为模型表达能力和有效模型复杂性两个方向，并对这两个方向的最新进展进行了综述。此外，我们还介绍了深度学习模型复杂性的一些应用实例，以说明其实用性。

目录内容：

Part 1: 深度学习模型复杂度 Deep Learning Model Complexity

Part 2: 表示容量 Expressive Capacity

Part 3: 有效性复杂度 Effective Complexity

Part 4: 应用实例 Application Examples

Part 5: Conclusion

https://www.sfu.ca/~huxiah/sdm21_tutorial.html