Mini-batch optimal transport (m-OT) has been successfully used in practical applications that involve probability measures with a very high number of supports. The m-OT solves several smaller optimal transport problems and then returns the average of their costs and transportation plans. Despite its scalability advantage, the m-OT does not consider the relationship between mini-batches which leads to undesirable estimation. Moreover, the m-OT does not approximate a proper metric between probability measures since the identity property is not satisfied. To address these problems, we propose a novel mini-batching scheme for optimal transport, named Batch of Mini-batches Optimal Transport (BoMb-OT), that finds the optimal coupling between mini-batches and it can be seen as an approximation to a well-defined distance on the space of probability measures. Furthermore, we show that the m-OT is a limit of the entropic regularized version of the BoMb-OT when the regularized parameter goes to infinity. Finally, we present the new algorithms of the BoMb-OT in various applications, such as deep generative models and deep domain adaptation. From extensive experiments, we observe that the BoMb-OT achieves a favorable performance in deep learning models such as deep generative models and deep domain adaptation. In other applications such as approximate Bayesian computation, color transfer, and gradient flow, the BoMb-OT also yields either a lower quantitative result or a better qualitative result than the m-OT.


翻译:在实际应用中成功地使用了小型最佳运输(m-OT),这涉及到使用大量支持的概率措施。M-OT解决了几个较小的最优化运输问题,然后又返回其成本和运输计划的平均值。尽管它具有可扩缩的优势,但M-OT并没有考虑微型弹匣之间的关系,从而导致不适当的估计。此外,由于身份属性不满足,M-OT并不近似于一种概率衡量尺度之间的适当度量。为了解决这些问题,我们提议了一种新型的微小比对最佳运输方法,名为“小型巴切最佳运输(BoMb-OT) ” (Batch of Mini-baches Moptimal Transport ),它发现微型巴比小口径最优的运货箱之间最优化的联运,它可以被视为接近于概率测量空间上一个明确界定的距离。此外,我们表明,当常规参数变得不精确时,Mob-OT值的恒定版是限制。最后,我们提出了在各种应用中,例如深层次的基因化模型和深域深度的变色变换,我们观察了BM-M-结果,例如深度的深度的模型,例如深层的模型,我们观察了更精确的BOM-OOTO-ro-b-b-rode-roal-al-al-al-al-al-al-mod-mod-al-al-al-al-al-al-al-al-al-al-d-d-mod-mod-modal-mod-modation等等,我们观察了比得的测算。

0
下载
关闭预览

相关内容

【CVPR2021】动态度量学习
专知会员服务
39+阅读 · 2021年3月30日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
已删除
将门创投
6+阅读 · 2019年7月11日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年11月30日
Arxiv
6+阅读 · 2020年10月8日
Optimization for deep learning: theory and algorithms
Arxiv
104+阅读 · 2019年12月19日
Arxiv
9+阅读 · 2019年4月19日
VIP会员
相关资讯
已删除
将门创投
6+阅读 · 2019年7月11日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员