【2023新书】光滑流形上的优化引论，368页pdf

光滑流形上的优化问题由于自然几何性质（例如，空间中物体的方向集是一个流形）、潜在数据简单性（例如，高维数据点靠近低维线性子空间，导致低秩数据矩阵）、对称性（例如，观察结果在旋转、平移或其他群操作下是不变的，导致商空间）和正定性（例如，协方差矩阵和扩散张量是正定的）在科学和工程中出现。这导致了机器学习、计算机视觉、机器人技术、科学计算、动态系统和信号处理等领域的成功应用。因此，流形上的优化越来越受到研究人员和工程师的关注。在最近加强的五十年研究努力的基础上，它现在被认为是线性空间上的无约束优化的广泛、美观和有效的泛化。然而，工程程序很少包括微分几何的培训：这是一个关于光滑流形的数学领域。此外，这个主题上现有的教科书通常与数学家的兴趣更加一致，而不是与工程师和应用数学家的需求一致。这为优化师创造了一个重要但可以避免的进入障碍。我写这本书的目标之一是提供一个不同的，有时可能是非正统的，介绍微分几何。定义和工具是根据优化的需要顺序引入的。我们从一个受限的设置开始——线性空间的嵌入子流形——这使我们能够直接引用其在线性空间中的常用对应概念来定义所有必要的概念。这涵盖了丰富的应用。也许与标准的叙述最明显的不同是，直到很晚才引入图表和图集。这样做的原因有两个：教育上，图表和图集比在嵌入子流形上的工作所需的更为抽象；实际上，图表在实践中很少或根本不被使用。让它们成为中心舞台将是不幸的。

在实践中，将图表和图集置于中心地位将是不幸的。当然，图表和图集是以内在方式为所有光滑流形提供统一处理的正确工具。它们最终被引入，此时可以讨论商流形：这是理解优化中对称性的强大语言。也许这种抽象是必要的，以充分欣赏流形上的优化的深度，不仅仅是线性空间中约束优化的一个花哨工具，而且真正是无约束优化的数学自然设置，意义更广泛。

经过时间考验的优化算法在关于嵌入几何的早期章节之后立即被引入。关键的是，无论我们是在嵌入在线性空间中的流形上优化还是不在该流形上优化，这些方法的设计和分析都保持不变。这使得我们能够在早期就得到算法，而不牺牲普遍性。它还强调了这一概念点，即算法真正地在流形上内在地操作。

最后两章讨论了更高级的主题，这些主题通常不是简单应用所必需的。第一章更深入地探讨了几何工具。第二章介绍了测地线凸性的基础：这是凸性的广泛泛化，凸性是经典优化中最具成果的结构之一。

这本书是自包含的，适合自学者和教师。第3章和第5章可以作为微分和黎曼几何的独立介绍。它们重点关注线性空间的嵌入子流形，并附有证明。第7章详细描述了流形的例子：它旨在与第3章和第5章平行地断断续续地阅读。这些章节不涉及图表，它们的目标是传达几何工具是计算工具的事实。从那里开始，预期的下一步是研究关于优化算法的第4章和第6章。读者也可以选择开始第8章，看看嵌入流形如何适应光滑流形的一般理论。这是向第9章关于商流形迈出的一个有用的（尽管不完全必要的）踏板。或者，他们可能决定在第10章中了解更多的几何工具，或在第11章中了解黎曼概念的凸性。