【马毅老师新书】学习数据分布的深层表征，304页pdf

“条条大路通罗马。”

本书揭示并研究了几乎所有现代（人工）智能实践背后的一个共同且基本的问题：如何在高维空间中有效且高效地学习数据的低维分布，并将其转化为一种紧凑而结构化的表征？对于任何智能系统——无论是自然的还是人工的——这样的表征通常都可以视为从外部世界感知到的数据中学习到的 记忆或知识。 本教材旨在为高年级本科生和初入学的研究生系统介绍学习（深度）数据分布表征的数学与计算原理。其主要先修课程包括本科层次的 线性代数、概率/统计和优化。如果读者对 信号处理（特别是稀疏表示与压缩感知）、信息论和反馈控制有一定了解，将有助于更深入地理解本书内容。 编写本书的主要动机在于，近年来作者及其众多同仁在这一领域取得了巨大的进展，致力于建立一种 有原则且严格的框架 来理解深度神经网络，乃至更广义上的智能。本书倡导的演绎方法论，与当前人工智能实践中占主导的 归纳性、试错式方法 形成鲜明对比，并高度互补。对于如此强大的 AI 模型与系统，人们的理解不足导致社会上愈演愈烈的炒作与担忧。我们相信，现在比以往任何时候都更需要认真尝试建立一种有原则的方法来理解智能。本书的宏大目标之一，就是提供坚实的理论与实验证据，表明如今完全可能像研究科学与数学课题一样研究智能。因此，读者也可以将本书视为发展 “智能的数学理论（Mathematical Theory of Intelligence）” 的初次尝试。

在技术层面，本书提出的理论框架有助于弥合长期存在的一大鸿沟：一方面是经典的数据结构建模方法，主要依赖于几何、代数与概率的解析模型（如子空间、高斯分布、方程等）；另一方面是“现代”的经验驱动、非参数化建模方法（如深度网络）。事实上，如果认识到它们都试图建模和学习数据分布中的低维结构，这两条看似分离的路线就能够统一，甚至显得自然。从这一角度来看，即便是许多看似毫不相关、在不同领域和不同时期独立发展起来的计算技术，现在也能在一个共同的计算框架下得到更好的理解，并可能从此一起研究。如本书所示，这些技术包括但不限于：信息论与编码理论中的有损压缩编解码、信号处理与机器学习中的扩散与去噪、以及 约束优化中的增广拉格朗日等连续方法。

我们相信，本书提出的统一概念与计算框架将对那些真正希望澄清关于深度神经网络和（人工）智能的神秘与误解的读者极具价值。此外，该框架还旨在为读者提供指导原则，以便在未来开发出更强大、更“真正智能”的系统。 更具体而言，除了总体介绍（第一章）之外，本书的主要技术内容将组织为六个紧密相关的主题（章节）： 1. 经典模型：从主成分分析（PCA）、独立成分分析（ICA）、字典学习（DL）等最基本的模型入手。这些模型假设目标低维分布具有线性和独立结构。通过这些在信号处理和压缩感知中得到充分研究的理想化模型，我们引入如何学习低维分布的最基本思想。 1. 压缩作为普遍原理：为将经典模型及其解法推广到更一般的低维分布，我们引入学习此类分布的一个普适计算原理：压缩。事实表明，数据压缩为各种看似不同的经典与现代分布/表征学习方法提供了统一视角，包括 降维、熵最小化、去噪的分数匹配、带失真率的有损压缩 等。 1. 深度神经网络的解释：在这一统一框架下，现代深度神经网络（如 ResNet、CNN、Transformer）都可以在数学上解释为“展开的优化算法”，通过迭代不断改进压缩与表征，即减少编码长度/速率或增加信息量。该框架不仅能解释迄今为止经验驱动的深度网络架构，还能引导出更简单、更高效的新架构。 1. 自动编码与闭环转录框架：为了保证学到的分布表征正确且一致，必须引入由编码器和解码器组成的自编码架构。为使学习系统完全自动与持续改进，我们引入一个强大的 闭环转录框架，使自编码系统能通过编码器与解码器之间的极小极大博弈自我校正，从而自我提升。 1. 作为先验的表征与贝叶斯推理：我们还将研究如何利用学到的数据分布与表征，作为强大的先验或约束，来进行贝叶斯推理，从而促进现代人工智能实践中的几乎所有任务与设置，包括条件估计、补全与高维真实数据（如图像和文本）的生成。 1. 从理论到应用：最后，为了将理论与实践相结合，我们将逐步展示如何在大规模数据集（图像与文本）上有效高效地学习低维分布的深度表征，并将其应用于 图像分类、图像补全、图像分割、图像生成 及文本数据的类似任务。

总而言之，本书的技术内容建立了 经典解析方法与现代计算方法、简单参数化模型与深度非参数化模型、多样的归纳实践与统一的演绎框架 之间的紧密联系。我们将揭示，许多看似无关甚至相互竞争的方法，尽管在不同领域和不同时期独立发展，但它们实际上都在追求同一个目标：发现并利用高维数据中固有的低维分布。 因此，本书将带领读者经历一段完整的旅程：从理论建模，到数学验证，再到计算实现，直至实际应用。 https://ma-lab-berkeley.github.io/deep-representation-learning-book/