We adapt previous research on category theory and topological unsupervised learning to develop a functorial perspective on manifold learning. We first characterize manifold learning algorithms as functors that map pseudometric spaces to optimization objectives and factor through hierachical clustering functors. We then use this characterization to prove refinement bounds on manifold learning loss functions and construct a hierarchy of manifold learning algorithms based on their invariants. We express several popular manifold learning algorithms as functors at different levels of this hierarchy, including Metric Multidimensional Scaling, IsoMap, and UMAP. Next, we use interleaving distance to study the stability of a broad class of manifold learning algorithms. We present bounds on how closely the embeddings these algorithms produce from noisy data approximate the embeddings they would learn from noiseless data. Finally, we use our framework to derive a set of novel manifold learning algorithms, which we experimentally demonstrate are competitive with the state of the art.


翻译:我们调整了先前的分类理论和地形学学学研究,以发展对多重学习的调控视角。 我们首先将多重学习算法定性为将假数空间映射成优化目标和因子的真菌学家, 通过高频群集真菌来优化目标和因素。 然后我们用这种定性来证明多重学习损失功能的精细界限, 并根据其变异性构建一个多元学习算法的等级分级结构。 我们作为这一等级的不同层次的杀菌师, 包括Metric MDolospulation、 IsoMap 和 UMAP, 表示一些流行的多元学习算法。 其次, 我们用中间距离来研究广泛的多种学习算法的稳定性。 我们展示了这些算法的嵌入范围, 这些算法是如何从杂乱的数据中产生接近他们从无噪音数据中学习的。 最后, 我们用我们的框架来产生一套新颖的多元学习算法, 我们实验显示这些算法与艺术状态具有竞争力 。

0
下载
关闭预览

相关内容

流形学习,全称流形学习方法(Manifold Learning),自2000年在著名的科学杂志《Science》被首次提出以来,已成为信息科学领域的研究热点。在理论和应用上,流形学习方法都具有重要的研究意义。假设数据是均匀采样于一个高维欧氏空间中的低维流形,流形学习就是从高维采样数据中恢复低维流形结构,即找到高维空间中的低维流形,并求出相应的嵌入映射,以实现维数约简或者数据可视化。它是从观测到的现象中去寻找事物的本质,找到产生数据的内在规律。
Stabilizing Transformers for Reinforcement Learning
专知会员服务
57+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
144+阅读 · 2019年10月12日
Transferring Knowledge across Learning Processes
CreateAMind
25+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
已删除
将门创投
6+阅读 · 2018年12月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
A Systems Theory of Transfer Learning
Arxiv
0+阅读 · 2021年7月2日
Arxiv
0+阅读 · 2021年7月1日
Arxiv
1+阅读 · 2021年6月30日
Arxiv
56+阅读 · 2021年5月3日
Arxiv
13+阅读 · 2020年4月12日
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
Arxiv
13+阅读 · 2019年1月26日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
Arxiv
5+阅读 · 2018年5月31日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
25+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
已删除
将门创投
6+阅读 · 2018年12月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
A Systems Theory of Transfer Learning
Arxiv
0+阅读 · 2021年7月2日
Arxiv
0+阅读 · 2021年7月1日
Arxiv
1+阅读 · 2021年6月30日
Arxiv
56+阅读 · 2021年5月3日
Arxiv
13+阅读 · 2020年4月12日
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
Arxiv
13+阅读 · 2019年1月26日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
Arxiv
5+阅读 · 2018年5月31日
Top
微信扫码咨询专知VIP会员