【2022新书】优化与机器学习：统计物理方法，225页pdf

这一系列讲座将讨论概率模型，并关注来自统计学的问题，机器学习和使用统计物理学工具和技术的约束优化问题。我们的目标是展示统计物理的一些方法是如何推导出许多数学问题的精确答案的。正如阿基米德所指出的，一旦给出了这些答案，即使它们是通过启发式方法得到的，严格地证明它们是更简单的(但仍然不是微不足道的)。在过去的几十年里，理论物理和应用数学之间的兴趣和方法越来越多，统计物理和计算机科学中的许多理论和应用工作都依赖于自旋玻璃的统计物理的联系。本讲座的目的是介绍进入这一快速发展领域所必需的背景知识。

乍一看，物理学与最小化和概率推理问题有任何联系似乎令人惊讶。两者之间的联系在于吉布斯(或波尔兹曼)分布，这是统计力学的基本对象。从统计和优化的角度来看，我们将对两类问题感兴趣:a)最小化成本函数和b)从分布中抽样。在这两种情况下，统计物理学的方法，或者更准确地说是玻尔兹曼测量方法，被证明是方便的。

《统计物理学》中有一部分恰好聚焦于这一课题:无序系统和自旋玻璃领域。自旋玻璃是磁铁，其中每对粒子之间的相互作用强度是随机的。从70年代末开始，随着山姆·爱德华兹爵士和诺贝尔奖得主p·w·安德森的开创性工作，无序系统和自旋玻璃的统计物理学发展成为一种多用途的理论，拥有强大的启发式工具，如复制和空腔方法。就其本身而言，使用统计物理学方法来研究计算机科学中的一些问题的想法并不新鲜。例如，它是模拟退火的灵感来源。Anderson早在1986年就利用这种联系来研究优化问题，PI也利用这种联系成功地研究了随机满意度和着色等问题。

在这堂课中，我们希望用一种跨学科的方法来解决这些问题，这将利用数学物理学和统计力学的工具，也利用信息理论和优化的工具。建模策略和分析源于凝聚态物理模型中相变的研究。然而，它的大部分目标和应用属于机器学习、计算机科学和统计数据处理领域。