在过去的十年里,我们见证了深度学习的无数惊人成功。尽管取得了许多成功,但我们可能正在再次攀登通胀预期的高峰。如果在过去,错误的解决方法是把计算能力扔到问题上,那么今天我们试着把数据扔进去。这种行为在少数大企业中引发了一场赢者通吃的数据争夺战,引发了人们对隐私和权力集中的担忧。然而,我们知道一个事实,从更少的样本中学习是可能的:人类表现出了比我们目前最先进的人工智能更好的泛化能力。为了达到这种需要的泛化能力,我们必须更好地了解学习是如何在深度神经网络中发生的。现代机器学习的实践已经超过了它的理论发展,深度学习模型具有当前机器学习理论无法预测的泛化能力。目前还没有建立新的学习理论来处理这个问题。2015年Naftali Tishby和Noga Zaslavsky在瓶颈原理的信息理论概念基础上发表了一篇开创性的学习理论。本文旨在研究利用信息瓶颈原理来解释深度神经网络的泛化能力的分散努力,并将它们整合到这个新的一般深度学习理论的综合摘要中。

成为VIP会员查看完整内容
97

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
123+阅读 · 2021年8月25日
《动⼿学深度学习》最新版,605页pdf
专知会员服务
161+阅读 · 2021年7月31日
专知会员服务
113+阅读 · 2021年7月24日
【经典书】主动学习理论,226页pdf,Theory of Active Learning
专知会员服务
124+阅读 · 2021年7月14日
专知会员服务
91+阅读 · 2021年6月11日
【经典书】机器学习导论,234页pdf
专知会员服务
74+阅读 · 2021年4月20日
【经典书】信息论原理,774页pdf
专知会员服务
252+阅读 · 2021年3月22日
【2020新书】深度学习自然语言处理简明导论,69页pdf
专知会员服务
114+阅读 · 2020年11月7日
深度学习详解
人工智能学家
5+阅读 · 2019年4月25日
421页《机器学习数学基础》最新2019版PDF下载
深度学习 | GAN模式崩溃的理论解释
数据派THU
10+阅读 · 2019年2月17日
深度学习循环神经网络详解
七月在线实验室
16+阅读 · 2018年5月28日
戳穿泡沫:对「信息瓶颈」理论的批判性分析
机器之心
4+阅读 · 2017年11月25日
Arxiv
64+阅读 · 2021年6月18日
Arxiv
49+阅读 · 2021年5月9日
Compositional Generalization in Image Captioning
Arxiv
3+阅读 · 2019年9月16日
Deep Learning for Energy Markets
Arxiv
9+阅读 · 2019年4月10日
VIP会员
相关VIP内容
专知会员服务
123+阅读 · 2021年8月25日
《动⼿学深度学习》最新版,605页pdf
专知会员服务
161+阅读 · 2021年7月31日
专知会员服务
113+阅读 · 2021年7月24日
【经典书】主动学习理论,226页pdf,Theory of Active Learning
专知会员服务
124+阅读 · 2021年7月14日
专知会员服务
91+阅读 · 2021年6月11日
【经典书】机器学习导论,234页pdf
专知会员服务
74+阅读 · 2021年4月20日
【经典书】信息论原理,774页pdf
专知会员服务
252+阅读 · 2021年3月22日
【2020新书】深度学习自然语言处理简明导论,69页pdf
专知会员服务
114+阅读 · 2020年11月7日
相关资讯
深度学习详解
人工智能学家
5+阅读 · 2019年4月25日
421页《机器学习数学基础》最新2019版PDF下载
深度学习 | GAN模式崩溃的理论解释
数据派THU
10+阅读 · 2019年2月17日
深度学习循环神经网络详解
七月在线实验室
16+阅读 · 2018年5月28日
戳穿泡沫:对「信息瓶颈」理论的批判性分析
机器之心
4+阅读 · 2017年11月25日
微信扫码咨询专知VIP会员