【加州理工学院博士论文】神经元网络的优化与泛化，98页pdf

本文的目标是发展人工神经网络学习的优化和泛化理论基础。这篇论文涉及两个核心问题。给定训练数据和网络架构:1)哪种权重设置对未见数据的泛化效果最好，为什么?2)应该使用什么优化器来恢复这个权重设置?

https://www.zhuanzhi.ai/paper/004b660b4e92a46e1ca507001a0d5d54

在优化方面，神经网络训练的一个基本特征是，网络权重仅通过其在网络架构中的出现间接影响损失函数。这篇论文提出了一个三步框架来派生新的“架构感知”优化算法。第一步称为函数优化，是根据函数扰动对损失函数的一系列展开进行优化。第二步是推导出体系结构摄动边界，将函数摄动的大小与权重摄动的大小联系起来。第三步是将这些体系结构扰动边界代入损耗的函数多数化，并通过最小化得到优化算法。这构成了主要最小化元算法在神经网络中的应用。在泛化方面，最近的一项有前途的工作是应用PAC-Bayes理论为神经网络推导非空泛化保证。由于这些保证控制了网络集合的平均风险，它们没有解决哪一个单独的网络应该是最好的泛化。为了弥补这一差距，本文重新点燃了核文献中的一个老思想:贝叶斯点机。贝叶斯点机是一个单一分类器，它近似于分类器集合的集合预测。由于聚合减少了集合预测的方差，贝叶斯点机往往比其他集合成员更好地进行泛化。本文证明，当网络宽度和归一化裕度都无穷大时，与训练集一致的神经网络空间集中在贝叶斯点机上。这激发了返回大标准化裕度的广泛网络的实践。这些想法的潜在应用包括不确定性量化的新方法，神经硬件更有效的数值表示，以及在学习问题中传递超参数的优化器。