【经典教程】深度学习与信息论，321页ppt

现代深度学习已经在多个学科中带来了许多发现:计算机视觉、语音识别、自然语言处理技术以及纯粹通过自我游戏学习游戏的能力。这在很大程度上是由获取大量数据的能力以及与问题域匹配的适当的归纳偏差所驱动的。在本教程中，我们将探讨这一新兴技术与信息论的相互作用。特别地，我们将讨论两个主题。

(1) 深度学习在信息论中的应用:信息论学界在编码设计和解码算法方面率先取得了几项突破，彻底改变了现代数字通信。在这一主题中，我们将研究是否有可能利用现代深度学习技术来加速这种编码方案的发现。我们将介绍这一领域的各种发展，展示Viterbi和BCJR算法可以从观测数据中“学习”，以及如何为高密度编码学习比消息传递更好的算法。此外，经过充分研究的信道编码设置，我们基本上可以获得无限数量的训练数据，并且在一些设置中已经知道了接近最优的编码策略，可以提供一个视角，通过它可以改进和增强目前的深度学习技术。除了代码设计，深度学习作为一种通用函数逼近器在信息论中有更广泛的应用潜力。我们将谈到这个大致的概念。事实上，最近的一些研究已经将深度学习用于(条件)独立检验、互信息估计、压缩感知以及多假设检验中的误发现率控制。

（2）在第二个主题中，我们将对信息论原理在理解和设计深度学习系统中的应用进行调研。这些工作大致可分为三类:(a)代表性(b)可学习性。(A)事实上，深度学习的一个基本结果是紧密逼近任何连续函数的能力。有几个现代的表示定理的概括理解的数量和深度这样的网络需要近似各种函数类，以及一些不变的性质。我们将调研这些结果。(B)有一些新兴的工作，包括张量方法，在一些数学假设下为神经网络和混合专家提供了各种可学习性保证。