【2023新书】数据科学中的信息论，417页pdf

信息论研究了信息流动、表示和传输的数学规律，就像物理学研究物理宇宙行为的规律一样。信息论的基础是在通信背景下建立的，它描述了通信的基本限制，并提供了代码（有时称为算法）来实现它们。 该领域最重要的成就是数字通信的发明，它构成了我们日常生活中的数字产品，如智能手机、笔记本电脑和物联网设备的基础。近年来，信息论在过去几十年发生革命性变革的一个热门领域——数据科学中，也发挥了重要作用。

本书旨在展示信息论在不断扩大的数据科学应用领域中的现代作用。本书的第一部分和第二部分涵盖了信息论的核心概念：关于若干关键概念的基本概念；以及关于通信基本限制的著名源和信道编码定理。最后一部分关注数据科学中出现的应用，包括社交网络、排名和机器学习。 本书作为信息论和通信领域的高年级本科生和研究生的教材，同时也应该成为这些领域专业人士和工程师的宝贵参考资料。

这本书的写作是由数据科学研究活动的激增以及信息理论在该领域中的作用所激发的。这构成了本书的动机，使其具有三个关键特点。

第一个特点是在数据科学应用场景下展示信息理论的原则和工具，例如社交网络、DNA测序、搜索引擎和人工智能（AI）。信息理论是一个基础性的领域，对科学和工程的广泛领域产生了重要影响。它由克劳德·香农于1948年创立，研究信息流动、表示和传输的数学规律。该领域最重要的成就是数字通信的发明，它是我们日常生活中的数字产品如智能手机、笔记本电脑和物联网（IoT）设备的基础。尽管该领域起源于通信，但它已经扩展到原始领域之外，为各种各样的背景做出贡献，包括网络、计算生物学、量子科学、经济学、金融，甚至博彩。因此，过去几十年里出版了几本关于信息理论的书籍，涵盖了广泛的主题（Gallager，1968；Cover，1999；MacKay，2003；Yeung，2008；Csiszár和Körner，2011；El Gamal和Kim，2011；Gray，2011；Gleick，2011；Pierce，2012；Wilde，2013）。然而，本书关注的是一个领域：数据科学。在丰富的内容中，我们强调与数据科学应用相关的信息论概念和工具。这些应用包括：社交网络中的社区检测、生物网络中的DNA测序、搜索引擎中的排名、有监督学习、无监督学习和社交AI。

第二，本书采用讲座式的格式编写。关于这个主题的大多数书籍都涉及许多数学概念和理论，以及各种领域的各种应用。概念和相关理论以字典式的组织方式呈现，主题按顺序列出。尽管这种字典式的组织方式便于查找特定材料，但它通常缺乏一个有凝聚力的叙述，无法吸引和激励读者。本书旨在吸引和激励那些对数据科学及其与其他学科的相互联系感兴趣的人。我们的目标是创造一个引人入胜的叙述，强调该领域基础知识的重要性。为实现这一目标，我们采用了讲座式的格式，每个章节都作为一次约80分钟的讲座的笔记。通过主题和概念在各章节之间建立了一致的联系。为确保从一个章节到另一个章节的顺利过渡，我们包括了两段内容：（i）“回顾”段落，总结了已经涉及的内容，并激发了当前章节的内容；（ii）“展望”段落，通过将其与之前的材料联系起来，引入即将出现的内容。

本书的最后一个特点是通过两种软件语言包含许多编程练习：（i）Python；和（ii）TensorFlow。尽管C++和MATLAB在传统领域得到了广泛应用，但Python已成为数据科学的关键软件。考虑到本书涉及的数据科学应用的广度，我们选择Python作为主要平台。为了实现机器学习和深度学习算法，我们使用TensorFlow，这是最受欢迎的深度学习框架之一。TensorFlow为深度学习中的许多重要过程提供了许多内置功能，并与Keras（一种强调快速用户实验的高级库）集成。通过Keras，我们可以轻松地从想法转变为实现，步骤最少。