【哈佛大学博士论文】构建深度学习的理论基础:一种实证方法,164页pdf

2022 年 11 月 28 日 专知

尽管在深度学习方面已经取得了巨大的实践进展,但我们对是什么使深度学习工作得很好以及为什么这样做缺乏清晰的理论理解。在本文中,我们采用“自然科学”的方法来构建深度学习的理论。我们首先确定在跨越各种不同背景的实际深度网络中出现的各种经验属性。然后,我们讨论了这些实证发现可以如何用来通知理论。具体而言,我们证明: (1)与监督学习相比,经过自监督学习训练的先进深度网络尽管过度参数化,但在特定条件下仍能实现有限的泛化差距。(2)具有相似性能和架构的模型通常会收敛到相似的内部表示,即使它们的训练方法有很大的不同(例如:监督学习和自监督学习)(3)插值分类器服从一种分布泛化形式——它们从训练分布中收敛到一种条件采样器类型。(4)深度网络的数据扩展特性对训练数据集的结构和噪声水平的变化具有鲁棒性

我们的发现强调,尽管缺乏最坏情况的保证,深度网络隐含地以可预测的、结构化的方式运行,从而为未来的理论分析奠定了基础。

专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“T164” 就可以获取【哈佛大学博士论文】构建深度学习的理论基础:一种实证方法,164页pdf》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料

登录查看更多
8

相关内容

【牛津大学博士论文】多模态自监督学习,172页pdf
专知会员服务
132+阅读 · 2022年10月4日
【ETH博士论文】贝叶斯深度学习,241页pdf
专知会员服务
124+阅读 · 2022年1月16日
【哈佛大学】深度学习理论实证探究
专知会员服务
42+阅读 · 2021年11月1日
【MIT经典书】统计学习与序列预测,261页pdf
专知会员服务
76+阅读 · 2020年11月17日
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
9+阅读 · 2022年1月16日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
21+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
1+阅读 · 2023年2月1日
Arxiv
0+阅读 · 2023年2月1日
Arxiv
0+阅读 · 2023年1月30日
VIP会员
相关VIP内容
【牛津大学博士论文】多模态自监督学习,172页pdf
专知会员服务
132+阅读 · 2022年10月4日
【ETH博士论文】贝叶斯深度学习,241页pdf
专知会员服务
124+阅读 · 2022年1月16日
【哈佛大学】深度学习理论实证探究
专知会员服务
42+阅读 · 2021年11月1日
【MIT经典书】统计学习与序列预测,261页pdf
专知会员服务
76+阅读 · 2020年11月17日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
21+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员