近年来,随机矩阵理论(RMT)已经成为学习理论的前沿,作为一种工具来理解它的一些最重要的挑战。从深度学习模型的泛化到优化算法的精确分析,RMT提供了易于分析的模型。
第一部分:介绍和经典随机矩阵理论集合
本节介绍两个经典的随机矩阵理论集合,高斯正交集合和Wishart矩阵。通过数值实验,我们将介绍随机矩阵理论中一些最重要的分布,如半圆和马尔钦科-帕斯图,以及一些关键的概念,如通用性。 图片
第2部分:随机矩阵理论概论:斯蒂尔吉斯和R变换 本节介绍随机矩阵理论中的一些核心证明技术: Stieltjes和R变换。
第3部分:数值算法分析 本节主要介绍随机矩阵理论在数值算法分析中的应用。
第4部分:为什么深度学习有效? 本节讨论深度神经网络泛化的随机矩阵理论模型。