We consider the vector embedding problem. We are given a finite set of items, with the goal of assigning a representative vector to each one, possibly under some constraints (such as the collection of vectors being standardized, i.e., having zero mean and unit covariance). We are given data indicating that some pairs of items are similar, and optionally, some other pairs are dissimilar. For pairs of similar items, we want the corresponding vectors to be near each other, and for dissimilar pairs, we want the corresponding vectors to not be near each other, measured in Euclidean distance. We formalize this by introducing distortion functions, defined for some pairs of the items. Our goal is to choose an embedding that minimizes the total distortion, subject to the constraints. We call this the minimum-distortion embedding (MDE) problem. The MDE framework is simple but general. It includes a wide variety of embedding methods, such as spectral embedding, principal component analysis, multidimensional scaling, dimensionality reduction methods (like Isomap and UMAP), force-directed layout, and others. It also includes new embeddings, and provides principled ways of validating historical and new embeddings alike. We develop a projected quasi-Newton method that approximately solves MDE problems and scales to large data sets. We implement this method in PyMDE, an open-source Python package. In PyMDE, users can select from a library of distortion functions and constraints or specify custom ones, making it easy to rapidly experiment with different embeddings. Our software scales to data sets with millions of items and tens of millions of distortion functions. To demonstrate our method, we compute embeddings for several real-world data sets, including images, an academic co-author network, US county demographic data, and single-cell mRNA transcriptomes.


翻译:我们考虑的是矢量嵌入问题。 我们得到了一组有限的物品, 目标是为每个物体指定一个具有代表性的矢量, 目标可能是在某种限制下( 比如, 收集矢量正在标准化, 即 零平均值和单位变量 ) 。 我们得到的数据显示, 一些相配的物品是相似的, 还有一些其他配对是不同的。 对于相配的物品, 我们希望对应的矢量彼此相近, 我们希望对应的矢量不会相互接近, 在 Euclidean 距离下测量。 我们通过引入扭曲功能, 定义某些物品的对等( 比如, 采集矢量的矢量数据, 即: 标准化的矢量的收集。 我们称之为最小扭曲嵌入( MDE) 的问题。 MDE 框架简单但很一般。 它包括各种各样的嵌入方法, 比如光谱嵌入、 主元件分析、 多层面的对流数据缩放方法( 如IOS和 UMAP ) 、 硬质版版版版的对数级的对数级数据进行存储。

0
下载
关闭预览

相关内容

专知会员服务
27+阅读 · 2021年5月2日
【上海交大】<操作系统> 2021课程,附课件
专知会员服务
41+阅读 · 2021年4月3日
专知会员服务
35+阅读 · 2021年3月21日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
随波逐流:Similarity-Adaptive and Discrete Optimization
我爱读PAMI
5+阅读 · 2018年2月6日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年10月15日
Arxiv
0+阅读 · 2021年10月15日
Arxiv
0+阅读 · 2021年10月15日
Arxiv
0+阅读 · 2021年6月22日
Arxiv
3+阅读 · 2018年5月20日
VIP会员
相关VIP内容
专知会员服务
27+阅读 · 2021年5月2日
【上海交大】<操作系统> 2021课程,附课件
专知会员服务
41+阅读 · 2021年4月3日
专知会员服务
35+阅读 · 2021年3月21日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
随波逐流:Similarity-Adaptive and Discrete Optimization
我爱读PAMI
5+阅读 · 2018年2月6日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员