【经典书】深度学习信息瓶颈理论，135页pdf

在过去的十年里，我们见证了深度学习的无数惊人成功。尽管取得了许多成功，但我们可能正在再次攀登通胀预期的高峰。如果在过去，错误的解决方法是把计算能力扔到问题上，那么今天我们试着把数据扔进去。这种行为在少数大企业中引发了一场赢者通吃的数据争夺战，引发了人们对隐私和权力集中的担忧。然而，我们知道一个事实，从更少的样本中学习是可能的:人类表现出了比我们目前最先进的人工智能更好的泛化能力。为了达到这种需要的泛化能力，我们必须更好地了解学习是如何在深度神经网络中发生的。现代机器学习的实践已经超过了它的理论发展，深度学习模型具有当前机器学习理论无法预测的泛化能力。目前还没有建立新的学习理论来处理这个问题。2015年Naftali Tishby和Noga Zaslavsky在瓶颈原理的信息理论概念基础上发表了一篇开创性的学习理论。本文旨在研究利用信息瓶颈原理来解释深度神经网络的泛化能力的分散努力，并将它们整合到这个新的一般深度学习理论的综合摘要中。