Optimal transport distances (OT) have been widely used in recent work in Machine Learning as ways to compare probability distributions. These are costly to compute when the data lives in high dimension. Recent work by Paty et al., 2019, aims specifically at reducing this cost by computing OT using low-rank projections of the data (seen as discrete measures). We extend this approach and show that one can approximate OT distances by using more general families of maps provided they are 1-Lipschitz. The best estimate is obtained by maximising OT over the given family. As OT calculations are done after mapping data to a lower dimensional space, our method scales well with the original data dimension. We demonstrate the idea with neural networks.


翻译:最佳迁移距离(OT)在最近机器学习工作中被广泛使用,作为比较概率分布的方法。当数据处于高维时,计算成本很高。Paty等人(2019年)最近的工作特别旨在降低这一成本,方法是利用数据低层次的预测计算OT(作为离散措施)。我们扩展了这一方法,并表明如果使用更普通的地图序列,只要使用1-Lipschitz,就可以近似OT距离。最佳估计是通过将OT最大化于给定家庭获得的。正如OT计算是在将数据绘制到一个较低维度的空间后完成的,我们的方法尺度与原始数据维度相当。我们用神经网络展示了这个想法。

0
下载
关闭预览

相关内容

【Google-Marco Cuturi】最优传输,339页ppt,Optimal Transport
专知会员服务
47+阅读 · 2021年10月26日
专知会员服务
50+阅读 · 2020年12月14日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
详解GAN的谱归一化(Spectral Normalization)
PaperWeekly
11+阅读 · 2019年2月13日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
保序最优传输:Order-preserving Optimal Transport
我爱读PAMI
6+阅读 · 2018年9月16日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】MXNet深度情感分析实战
机器学习研究会
16+阅读 · 2017年10月4日
Entropic Optimal Transport in Random Graphs
Arxiv
0+阅读 · 2022年1月11日
Implicit Maximum Likelihood Estimation
Arxiv
7+阅读 · 2018年9月24日
Viewpoint Estimation-Insights & Model
Arxiv
3+阅读 · 2018年7月3日
VIP会员
相关资讯
Top
微信扫码咨询专知VIP会员