【干货书】《信息论: 从编码到学习(2022第三版)》

这本教科书介绍了适合高级本科生和研究生的信息论主题。它发展了经典的香农理论和最近在统计学习中的应用。全文共分为五个部分:信息化措施的基础;(无损)数据压缩;二元假设检验与大偏差理论;信道编码和信道容量;有损数据压缩;最后是统计应用。有超过150个练习，包括帮助读者了解和关注文献中的最新发现。这本书是信息论领域的现代导论。在过去的二十年里，信息论已经从一门主要处理信息存储和传输问题(“编码”)的学科发展到越来越关注信息提取和去噪(“学习”)的学科。这种转变反映在本书的标题和内容上。这些内容来自于作者十多年来在麻省理工学院、伊利诺伊大学和耶鲁大学教授常规课程，以及在EPFL(瑞士)和ENSAE(法国)教授短期课程的课堂笔记。我们的意图是将这份手稿用作研究生(和高级本科生)的第一门信息论课程的教科书，或者用于深入研究特定领域的第二门(主题)课程。这本书的一个重要部分致力于信息理论方法的阐述，这些方法在其他领域，如统计学习和计算机科学，已经发现了有影响力的应用。(具体来说，我们涵盖了Kolmogorov的度量熵，强数据处理不等式，以及统计估计的熵上界)。我们还包括一些不太知名的经典材料(例如，与遍历性的联系)以及最新的发展，这些材料通常在练习中涵盖(遵循Csiszár和Körner[81]的风格)。