【开放书】《矩阵流形优化算法》，241页pdf

约束优化已经成为一个很好的研究领域，有一些强大的技术可以解决该领域的一般问题。在这本书中，考虑了一类特殊的约束，称为几何约束，它表示优化问题的解在流形上。这是一个最近的研究领域，它为更一般的约束优化方法提供了强大的替代方案。经典的约束优化技术适用于比流形大得多的嵌入式空间。因此，在流形上工作的优化算法具有较低的复杂性，而且通常还具有更好的数值特性(例如，保持能量等不变量的数值积分方案)。作者将此称为受限搜索空间中的无约束优化。

可以用流形来描述差分方程或微分方程的思想起源于布罗克特、弗拉施卡和鲁提肖瑟的工作。例如，他们描述了等谱流，这些流产生的时变矩阵彼此相似，最终收敛到有序特征值的对角矩阵。这些想法在数值线性代数领域没有像在动力系统领域那样得到那么多的关注，因为由此产生的差分和微分方程并没有立即导致有效的算法实现。

这本书对发展高阶优化技术的微分几何的进行了深入的介绍，但它仍然成功地用简单的想法解释复杂的概念。这些思想随后被用于发展牛顿型方法以及其他超线性方法，如信赖域方法和非精确和准牛顿方法，这些方法更加强调概念算法的高效数值实现。