【牛津大学博士论文】机器学习中的组合性和函数不变量，224页pdf

本文的目的是表明，研究机器学习系统中潜在的组成和函数结构使我们能够更好地理解它们。本文探索了机器学习许多子领域的范畴理论表述，包括优化、概率、无监督学习和有监督学习。本文首先研究了当用一般的范畴理论结构取代梯度时，各种优化算法的行为。证明了这些算法的关键性质在非常宽松的假设下是成立的，并通过数值实验证明了这一结果。本文还探索了动态系统的范畴论视角，使我们能够从简单操作的组成中构建强大的优化器。其次，从范畴理论的角度研究了概率建模与梯度优化之间的关系;本文从这个角度来研究最大似然估计如何在从统计模型到监督学习算法的转换中保持某些关键结构。

https://ora.ox.ac.uk/objects/uuid:ec72e338-d95e-4bd6-9412-7ac76b7ddc15

接下来，我们从函数的角度来研究无监督学习。我们基于非监督学习算法的函式表示的范畴论性质，开发了非监督学习算法的分类法，并证明了这些分类法是算法行为的预测。用这个视角推导出了一系列用于聚类和流形学习的新无监督学习算法，并证明了这些新算法在真实世界数据上可以优于常用的替代算法。还用这些工具证明了关于流行的无监督学习算法的行为和局限性的新结果，包括细化界限和在噪声面前的稳定性。最后，转向监督学习，并证明数据科学和机器学习中许多最常见的问题都可以表示为Kan扩展。本文用这个角度推导出新的分类和监督聚类算法。同时在真实数据上对这些算法的性能进行了测试。