【牛津大学博士论文】流形的几何优化与深度学习的应用，154页pdf，Geometric Optimisation on Manifolds with Applications to Deep Learning

我们设计并实现了一个Python库，以一种高效、可扩展和简单的方式，帮助非专业人士使用所有这些强大的工具，并将其整合到数据科学家、实践者和应用研究人员的工作流程中。这个库中实现的算法在设计时考虑到了可用性和GPU效率，它们可以添加到任何PyTorch模型中，只需要额外的一行代码。我们展示了这些工具在时间序列分析设置的流形优化应用上的有效性。在这种情况下，使用正交和幺正优化来约束和正则化循环模型，避免消失和爆炸梯度问题。为GeoTorch设计的算法允许我们在该系列模型的标准测试中实现最先进的结果。我们使用比较几何中的工具来给出优化问题中感兴趣的量的边界。特别地，我们建立在(Kaul 1976)的工作之上，给出黎曼指数二阶导数的范数的明确界限。