【经典书】信息论原理，774页pdf简明易懂介绍信息论基础知识

2021 年 3 月 22 日 专知

本书是信息论领域中一本简明易懂的教材。主要内容包括：熵、信源、信道容量、率失真、数据压缩与编码理论和复杂度理论等方面的介绍。

本书还对网络信息论和假设检验等进行了介绍，并且以赛马模型为出发点，将对证券市场研究纳入了信息论的框架，从新的视角给投资组合的研究带来了全新的投资理念和研究技巧。

本书适合作为电子工程、统计学以及电信方面的高年级本科生和研究生的信息论基础教程教材，也可供研究人员和专业人士参考。

本书是一本简明易懂的信息论教材。正如爱因斯坦所说：“凡事应该尽可能使其简单到不能再简单为止。''虽然我们没有深人考证过该引语的来源（据说最初是在幸运蛋卷中发现的），但我们自始至终都将这种观点贯穿到本书的写作中。信息论中的确有这样一些关键的思想和技巧，一旦掌握了它们、不仅使信息论的主题简明，而且在处理新问題时提供重要的直觉。本书来自使用了十多年的信息论讲义，原讲义是信息论课程的高年级本科生和一年级研究生两学期用的教材。本书打算作为通信理论．计算机科学和统计学专业学生学习信息论的教材。

信息论中有两个简明要点。第一，熵与互信息这样的特殊量是为了解答基本问题而产生的。例如，熵是随机变量的最小描述复杂度，互信息是度量在噪声背景下的通信速率。另外，我们在以后还会提到，互信息相当于已知边信息条件下财富双倍的增长。第二，回答信息理论问邀的答案具有自然的代数结构。例如，熵具有链式法则，因而，谪和互信息也是相关的。因此，数据压缩和通信中的问题得到广泛的解释。我们都有这样的感受，当研究某个问题时，往往历经大量的代数运算推理得到了结果，但此时没有真正了解问题的全莪，最终是通过反复观察结果，才对整个问题有完整、明确的认识。所以，对一个问题的全面理解，不是靠推理，而是靠对结果的观察。要更具体地说明这一点，物理学中的牛顿三大定律和薛定谔波动方程也许是最合适的例子。谁曾预见过薛定谔波动方程后来会有如此令人敬畏的哲学解释呢？

在本书中，我们常会在着眼于问题之前，先了解一下答案的性质。比如第2章中，我们定义熵、相对熵和互信息，研究它们之间的关系，再对这些关系作一点解释·由此揭示如何融会贯通地使用各式各样的方法解决实际问题。同理，我们顺便探讨热力学第二定律的含义。熵总是增加吗？答案既肯定也否定。这种结果会令专家感兴趣，但初学者或i午认为这是必然的而不会深人考虑。

在实际教学中．教师往往会加人一自己的见解。事实上，寻找无人知道的证明或者有所创新的结果是一件很愉快的事情。如果有人将新的思想和已经证明的内容在课堂上讲解给学生，那么不仅学生会积极反馈“对，对，对六而且会大大地提升教授该课程的乐崆我们正是这样从研究本教材的许多新想法中获得乐趣的。

本书加人的新素材实例包括信息论与博弈之间的关系，马尔可夫链背景下热力学第二定律的普遍性问题，信道容量定理的联合典型性证明，赫夫曼码的竞争最优性，以及关于最大熵谱密度估计的伯格（回定理的证明。科尔莫戈罗夫复杂度这一章也是本书的独到之处。面将费希尔信息，互信息、中心极限定理以及布伦一闵可夫斯基不等式与熵幂不等式联系在一起，也是我们引以为豪之处。令我们感到惊讶的是．关于行列式不等式的许多经典结论，当利用信息论不等式后会很容易得到证明。

自从香农的奠基性论文面世以来，尽管信息论已有了相当大的发展，但我们还是要努力强调它的连贯性。虽然香农创立信息论时受到通信理论中的问题启发，然而我们认为信息论是一门独立的学科，可应用于通信理论和统计学中。我们将信息论作为一个学科领域从通信理论、概率论和统计学的背景中独立出来因为明显不可能从这些学科中获得难以理解的信息概念。由于本书中绝大多数结论以定理和证明的形式给出，所以，我们期望通过对这些定理的巧妙证明能说明这些结论的完美性。一般来讲，我们在介绍问题之前先描述回题的解的性质，而这些很有的性质会使接下来的证明顺理成章。

使用不等式串、中间不加任何文字、最后直接加以解释，是我们在表述方式上的一项创新希望读者学习我们所给的证明过程达到一定数量时，在没有任何解释的情况下就能理解其中的大部分步，并自己给出所需的解释这些不等式串好比模拟到试题，读者可以通过它们确认自己是否已掌握证明那些重要定理的必备知识。这些证明过程的自然流程是如此引人注目，以至于导致我们轻视了写作技巧中的某条重要原则。由于没有多余的话，因而突出了思路的逻辑性与主題思想u我们希望当读者阅读完本书后，能够与我们共同分亨我们所推崇的，具有优美、简洁和自然风格的信息论。

本书广泛使用弱的典型序列的方法，此概念可以追溯到香农1948年的创造性工作，而它真正得到发展是在20世纪70年代初期。其中的主要思想就是所谓的渐近均分性(AEP),或许可以粗略地说成“几乎一切事情都是等可能的"

第2章阐述了熵、相对熵和互信息之同的基本代数关系。渐近均分性是第3章重中之重的内容，这也使我们将随机过程和数据压缩的熵率分别放在第4章和第5章中论述。第6章介绍博弈，研究了数据压缩的对偶性和财富的增长率。可作为对信息论进行理性思考基础的科尔莫戈罗夫复杂度，拥有着巨大的成果，放在第14章中论述。我们的目标是寻找一个通用的最矩描述，而不是平均意义下的次佳描述。的确存在这样的普遍性概念用来刻画一个对象的复杂度。该章也论述了神奇数0，揭示数学上的不少奥秘，是图灵机停止运转概率的推广。第7章论述信道容量定理。第8章叙述微分熵的必需知识，它们是将早期容量定理推广到连续噪声信道的基础。基本的高斯信道容量问题在第9章中论述。第il章阐述信息论和统计学之间的关系，20世纪年代初期库尔贝克首次对此进行了研究，此后相对被忽视。由于率失真理论比无噪声数据压缩理论需要更多的背景知识，因而将其放置在正文中比较靠后的第10章。

网络信息理论是个大的主题，安排在第巧章，主要研究的是噪声和干扰存在情形下的同时可达的信息流。有许多新的思想在网络信息理论中开始活跃起来，其主要新要素有干扰和反馈第16章讲述股票市场，这是第6章所讨论的博弈的推广，也再次表明了信息论和博弈之间的紧密联系。第17章讲述信息论中的不等式，我们借此一隅把散布于全书中的有趣不等式重新收拢在一个新的框架中，再加上一些关于随机抽取子集熵率的有趣新不等式。集合和的体积的布伦一闵可夫斯基不等式，独立随机变量之和的有效方差的熵幂不等式以及费希尔信息不等式之间的美妙关系也将在此章中得到详尽的阐述。

本书力求推理严密，因此对数学的要求相当高·要求读者至少学过一学期的概率论课程且有扎实的数学背景，大致为本科高年级或研究生一年级水平。尽管如此，我们还是努力避免使用测度论。因为了解它只对第16章中的遍历过程的AEP的证明过程起到简化作用。这符合我们的观点，那就是信息论基础与技巧不同，后者才需要将所有推广都写进去。

本书的主体是第2，3，4，5，7，8，9，10，11和巧章，它们自成体系，读懂了它们就可以对信息论有很好的理解。但在我们看来，第14章的科尔莫戈罗夫复杂度是深人理解信息论所需的必备知识。余下的几章，从博弈到不等式．目的是使主题更加连贯和完美。