本文的目的是表明,研究机器学习系统中潜在的组成和函数结构使我们能够更好地理解它们。本文探索了机器学习许多子领域的范畴理论表述,包括优化、概率、无监督学习和有监督学习。本文首先研究了当用一般的范畴理论结构取代梯度时,各种优化算法的行为。证明了这些算法的关键性质在非常宽松的假设下是成立的,并通过数值实验证明了这一结果。本文还探索了动态系统的范畴论视角,使我们能够从简单操作的组成中构建强大的优化器。其次,从范畴理论的角度研究了概率建模与梯度优化之间的关系;本文从这个角度来研究最大似然估计如何在从统计模型到监督学习算法的转换中保持某些关键结构。

https://ora.ox.ac.uk/objects/uuid:ec72e338-d95e-4bd6-9412-7ac76b7ddc15

接下来,我们从函数的角度来研究无监督学习。我们基于非监督学习算法的函式表示的范畴论性质,开发了非监督学习算法的分类法,并证明了这些分类法是算法行为的预测。用这个视角推导出了一系列用于聚类和流形学习的新无监督学习算法,并证明了这些新算法在真实世界数据上可以优于常用的替代算法。还用这些工具证明了关于流行的无监督学习算法的行为和局限性的新结果,包括细化界限和在噪声面前的稳定性。最后,转向监督学习,并证明数据科学和机器学习中许多最常见的问题都可以表示为Kan扩展。本文用这个角度推导出新的分类和监督聚类算法。同时在真实数据上对这些算法的性能进行了测试。

成为VIP会员查看完整内容
39

相关内容

牛津大学是一所英国研究型大学,也是罗素大学集团、英国“G5超级精英大学”,欧洲顶尖大学科英布拉集团、欧洲研究型大学联盟的核心成员。牛津大学培养了众多社会名人,包括了27位英国首相、60位诺贝尔奖得主以及数十位世界各国的皇室成员和政治领袖。2016年9月,泰晤士高等教育发布了2016-2017年度世界大学排名,其中牛津大学排名第一。

【牛津大学博士论文】关系数据的学习和推理,243页pdf
专知会员服务
47+阅读 · 2022年11月16日
【牛津大学博士论文】持续学习的高效机器学习,213页pdf
专知会员服务
77+阅读 · 2022年10月19日
【牛津大学博士论文】解释深度神经网络,134页pdf
专知会员服务
213+阅读 · 2020年10月8日
【MIT博士论文】数据高效强化学习,176页pdf
国家自然科学基金
21+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年5月14日
Transformers in Remote Sensing: A Survey
Arxiv
23+阅读 · 2022年9月2日
Arxiv
30+阅读 · 2021年3月29日
A Modern Introduction to Online Learning
Arxiv
19+阅读 · 2019年12月31日
Object Detection in 20 Years: A Survey
Arxiv
48+阅读 · 2019年5月13日
VIP会员
相关基金
国家自然科学基金
21+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员