【博士论文】深度神经网络的统计物理学：泛化能力、超越无限宽度和特征学习

深度神经网络（DNNs）处于技术革命的前沿，展现出在各种任务中与人类专家相匹配甚至超越的能力。从图像识别到复杂的决策过程，DNNs正在重塑各个行业和科学研究。尽管它们广泛应用，但这些算法的内部机制仍然 largely 不透明，常被比作“黑箱”。尽管我们可以通过实验方法提升其性能，但深入全面地理解其内部过程依然是一个巨大的挑战。 对于统计力学领域而言，处理计算机科学问题并非新挑战。本论文正处于这一交叉点，采用跨学科的方法，利用基于物理学的方法深入理解DNNs。 本论文的核心通过三种不同但相互关联的研究方法展开。第一种方法是基于数据平均的，我们用它来建立DNNs泛化性能的渐近界限。这个结果不仅大大改善了统计学习理论中的经典界限，还展示了物理学视角如何超越传统的分析限制。值得注意的是，我们的结果只依赖于最后一层的大小，而不是网络参数的总数，突显了在深度网络中，信息是如何通过不同层进行不同方式处理的。 第二种方法则采取数据依赖的视角，聚焦于DNNs在已知的无限宽度极限之外的特定热力学极限下的行为。这一研究路线涉及对网络前向动态的详细分析，使我们能够对这些算法在现实环境中——即大多数实际DNNs运行的领域——的内部运作提供更加精确的统计描述。此项进展使我们能够得到：（i）在有限宽度单隐层网络中与回归任务相关的泛化误差的封闭公式；（ii）深度架构的分配函数的近似表达式；（iii）热力学极限下的深度神经网络与学生t过程之间的联系。 最后，论文采用了任务明确的方法，进行（初步）研究，探讨DNNs如何与简单且受控数据集的结构进行交互与适应。该分析旨在判断DNNs是否真能与数据集的结构产生共鸣，形成其特征的内部表示，而不仅仅是记住它。这一部分的研究对于理解DNNs何时被迫学习数据结构，而不是仅仅记住它，可能具有重要意义。 总之，本论文希望成为探索现代技术最令人着迷和影响深远领域之一的旅程。借助统计物理与机器学习之间的富有成效的对话，本文希望为揭示深度神经网络的内在行为做出贡献。这一研究方向，作为本论文的一小部分，具有潜力不仅能影响深度神经网络领域，还能够影响这些系统应用的无数领域，希望为更具可解释性和透明度的人工智能铺平道路。