【普林斯顿博士论文】深度神经网络在监督学习、生成建模和自适应数据分析中的泛化，134页pdf

为什么在小数据集上训练的具有大量参数的神经网络仍然可以准确地对未见过的数据进行分类?这种"泛化之谜"已经成为深度学习中的一个核心问题。除了传统的监督学习设置，深度学习的成功扩展到许多其他体制，在这些体制中，我们对泛化行为的理解甚至更加难以捉摸。本文从监督学习开始，最终目的是通过提出新的理论框架和实用工具，阐明深度神经网络在生成式建模和自适应数据分析中的泛化性能。

https://dataspace.princeton.edu/handle/88435/dsp01k35697481

首先，证明了有监督深度神经网络的泛化界，建立在经验观察的基础上，即在真实数据集上训练的深度网络的推理计算对噪声具有高度的抵抗力。根据信息理论的原则，噪声稳定性表明冗余和可压缩性，我们提出了一种新的训练网络的简洁压缩，这导致了更好的泛化估计。建立了生成对抗网络(GANs)的有限容量分析。该研究对GANs学习分布能力的局限性进行了深入的了解，并提供了经验证据，表明著名的GANs方法确实会导致退化解决方案。尽管结果消极，但本文继续展示了GANs的一个令人惊讶的积极用例:可以使用在相同训练集上训练的GAN模型生成的合成数据准确预测深度神经网络分类器的测试性能。

最后，探讨了深度学习模型在经过多年的数据重用后是否会过度拟合ImageNet等标准数据集的问题。我们提供了一个简单的估计，Rip Van Winkle 's Razor，用于测量由于数据过度使用而导致的过拟合。它依赖于一个新的概念，即必须提供给一个熟悉该领域和相关数学的专家裁判的信息量，他在创建测试集的时候刚刚睡着(就像童话故事中那样)。在许多ImageNet模型中，这种估计是非空的。