We provide theoretical analyses for two algorithms that solve the regularized optimal transport (OT) problem between two discrete probability measures with at most $n$ atoms. We show that a greedy variant of the classical Sinkhorn algorithm, known as the \emph{Greenkhorn algorithm}, can be improved to $\widetilde{\mathcal{O}}(n^2\varepsilon^{-2})$, improving on the best known complexity bound of $\widetilde{\mathcal{O}}(n^2\varepsilon^{-3})$. Notably, this matches the best known complexity bound for the Sinkhorn algorithm and helps explain why the Greenkhorn algorithm can outperform the Sinkhorn algorithm in practice. Our proof technique, which is based on a primal-dual formulation and a novel upper bound for the dual solution, also leads to a new class of algorithms that we refer to as \emph{adaptive primal-dual accelerated mirror descent} (APDAMD) algorithms. We prove that the complexity of these algorithms is $\widetilde{\mathcal{O}}(n^2\sqrt{\delta}\varepsilon^{-1})$, where $\delta > 0$ refers to the inverse of the strong convexity module of Bregman divergence with respect to $\|\cdot\|_\infty$. This implies that the APDAMD algorithm is faster than the Sinkhorn and Greenkhorn algorithms in terms of $\varepsilon$. Experimental results on synthetic and real datasets demonstrate the favorable performance of the Greenkhorn and APDAMD algorithms in practice.


翻译:我们为两种算法提供理论分析,这些算法可以解决两种离散的概率计量方法之间的正常最佳运输(OT)问题(OT ) 。 值得注意的是, 这符合Sinkhorn算法中已知的最佳复杂程度, 有助于解释为何古典Sinkhorn算法(称为\ emph{ Greenkhorn算法} ) 的贪婪变方, 可以改进成$宽的公式{O} (n2\ varepsilón}-2} 美元, 改进了已知最复杂程度, 约束于$宽度/ smart{ O} (n2\\ vareal- directrial_ lax) 。 我们证明这些算法的复杂性是 $link_ sink_ liver2 dalxx 的硬性能和 $leval_ deal_ daldal_ daldal_ dismodal_ dal_ discoal_Bral_ dal_ dal_ dal_ dal_ dal_ dal_ dal_ dad_ dal_ dal_ dal_ dal_ dal_ dal_ dal_ dal_ dal_ dal_ dal_ dal_ dal_ dal_ dal_ dal_ dal_ lax_ lax_ lad_ dal_ dal_ dal_ dal_ dal_ dal_d_ dal_ lad_ lad_ lad_ lad_ lad_ lad_ lad_ lad_ lad_ lad_ lad_d_d_d_d_d_d_d_d_d_d_d_d_d_d_ ladal_d_dal_ lad_ ladal_ lad_ lad_d___ lad_ lax_ lad) lad_ lad_ lad_ lad_ lad_ lad_ lad) lad_ lad_ ladal_ lad_ lad_ lax_ lad_

0
下载
关闭预览

相关内容

专知会员服务
76+阅读 · 2021年3月16日
数字化健康白皮书,17页pdf
专知会员服务
107+阅读 · 2021年1月6日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
109+阅读 · 2020年5月15日
【新书】Python编程基础,669页pdf
专知会员服务
193+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Entropic estimation of optimal transport maps
Arxiv
0+阅读 · 2021年9月24日
Arxiv
0+阅读 · 2021年9月22日
Arxiv
4+阅读 · 2021年7月1日
VIP会员
相关VIP内容
专知会员服务
76+阅读 · 2021年3月16日
数字化健康白皮书,17页pdf
专知会员服务
107+阅读 · 2021年1月6日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
109+阅读 · 2020年5月15日
【新书】Python编程基础,669页pdf
专知会员服务
193+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Top
微信扫码咨询专知VIP会员