Several issues in machine learning and inverse problems require to generate discrete data, as if sampled from a model probability distribution. A common way to do so relies on the construction of a uniform probability distribution over a set of $N$ points which minimizes the Wasserstein distance to the model distribution. This minimization problem, where the unknowns are the positions of the atoms, is non-convex. Yet, in most cases, a suitably adjusted version of Lloyd's algorithm -- in which Voronoi cells are replaced by Power cells -- leads to configurations with small Wasserstein error. This is surprising because, again, of the non-convex nature of the problem, as well as the existence of spurious critical points. We provide explicit upper bounds for the convergence speed of this Lloyd-type algorithm, starting from a cloud of points sufficiently far from each other. This already works after one step of the iteration procedure, and similar bounds can be deduced, for the corresponding gradient descent. These bounds naturally lead to a modified Poliak-Lojasiewicz inequality for the Wasserstein distance cost, with an error term depending on the distances between Dirac masses in the discrete distribution.


翻译:机器学习中的一些问题和反向问题要求生成离散的数据, 仿佛是从模型概率分布中抽样的样本。 这样做的一个共同方法依赖于在一组美元点上构建统一的概率分布, 将瓦西斯坦距离最小化到模型分布中。 这个最小化问题, 未知数是原子的位置, 是非混凝土。 然而, 在多数情况下, 一个经过适当调整的劳埃德算法版本 -- 沃罗诺伊细胞被电源细胞取代 -- 导致小瓦西斯坦错误的配置。 这令人惊讶, 原因同样在于问题的非康韦克斯性质以及存在虚假的临界点。 我们为这一劳埃德型算法的趋同速度提供了明确的上限, 从距离彼此足够远的点云开始。 这已经在一个步骤后起作用, 可以推断出类似的界限, 对应的梯度下降。 这些界限自然导致对瓦西里斯坦距离成本的波利克- 洛贾西维茨不平等进行修改。 这还是因为问题的非康韦克斯性质, 以及存在虚假的临界点的存在。 我们为这种劳埃德型算法的趋同距离分布之间的距离值提供了明显的错误, 。

0
下载
关闭预览

相关内容

专知会员服务
50+阅读 · 2020年12月14日
专知会员服务
84+阅读 · 2020年12月5日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
【微众银行】联邦学习白皮书_v2.0,48页pdf,
专知会员服务
165+阅读 · 2020年4月26日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
Keras实例:PointNet点云分类
专知
6+阅读 · 2020年5月30日
异常检测论文大列表:方法、应用、综述
专知
126+阅读 · 2019年7月15日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
【OpenAI】深度强化学习关键论文列表
专知
11+阅读 · 2018年11月10日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
VIP会员
相关VIP内容
专知会员服务
50+阅读 · 2020年12月14日
专知会员服务
84+阅读 · 2020年12月5日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
【微众银行】联邦学习白皮书_v2.0,48页pdf,
专知会员服务
165+阅读 · 2020年4月26日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
相关资讯
Keras实例:PointNet点云分类
专知
6+阅读 · 2020年5月30日
异常检测论文大列表:方法、应用、综述
专知
126+阅读 · 2019年7月15日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
【OpenAI】深度强化学习关键论文列表
专知
11+阅读 · 2018年11月10日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员