【加州理工学院博士论文】神经元网络的优化与泛化，98页pdf

本文的目标是发展人工神经网络学习的优化和泛化理论基础 。这篇论文涉及两个核心问题。给定训练数据和网络架构:1)哪种权重设置对未见数据的泛化效果最好，为什么?2)应该使用什么优化器来恢复这个权重设置?

https://www.zhuanzhi.ai/paper/004b660b4e92a46e1ca507001a0d5d54

在优化方面，神经网络训练的一个基本特征是，网络权重仅通过其在网络架构中的出现间接影响损失函数 。这篇论文提出了一个三步框架来派生新的“架构感知”优化算法。第一步称为函数优化，是根据函数扰动对损失函数的一系列展开进行优化。第二步是推导出体系结构摄动边界，将函数摄动的大小与权重摄动的大小联系起来。第三步是将这些体系结构扰动边界代入损耗的函数多数化，并通过最小化得到优化算法。这构成了主要最小化元算法在神经网络中的应用。

在泛化方面，最近的一项有前途的工作是应用PAC-Bayes理论为神经网络推导非空泛化保证 。由于这些保证控制了网络集合的平均风险，它们没有解决哪一个单独的网络应该是最好的泛化。为了弥补这一差距，本文重新点燃了核文献中的一个老思想:贝叶斯点机。贝叶斯点机是一个单一分类器，它近似于分类器集合的集合预测。由于聚合减少了集合预测的方差，贝叶斯点机往往比其他集合成员更好地进行泛化。本文证明，当网络宽度和归一化裕度都无穷大时，与训练集一致的神经网络空间集中在贝叶斯点机上。这激发了返回大标准化裕度的广泛网络的实践。

这些想法的潜在应用包括不确定性量化的新方法，神经硬件更有效的数值表示，以及在学习问题中传递超参数的优化器。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“OG98” 就可以获取《 【加州理工学院博士论文】神经元网络的优化与泛化，98页pdf》专知下载链接

                       

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取100000+AI主题知识资料