【斯坦福经典书】熵与信息论，311页pdf

本书致力于概率信息测度理论及其在信息源和噪声信道编码定理中的应用。最终的目标是全面发展香农的通信数学理论，但大部分篇幅都用于证明香农编码定理所需的工具和方法。这些工具形成了遍历理论和信息论的共同领域，并包含了随机变量、随机过程和动力系统中的信息的几个定量概念。例如熵、互信息、条件熵、条件信息和相对熵(鉴别、Kullback-Leibler信息)，以及这些量的极限标准化版本，如熵率和信息率。在考虑多个随机对象时，除了考虑信息之外，我们还会考虑随机对象之间的距离或变形，即一个随机对象被另一个随机对象表示的准确性。书的大部分与这些量的性质有关，特别是平均信息和扭曲的长期渐近行为，其中两个样本平均数和概率平均数是有兴趣的。