In this paper, we provide non-asymptotic upper bounds on the error of sampling from a target density using three schemes of discretized Langevin diffusions. The first scheme is the Langevin Monte Carlo (LMC) algorithm, the Euler discretization of the Langevin diffusion. The second and the third schemes are, respectively, the kinetic Langevin Monte Carlo (KLMC) for differentiable potentials and the kinetic Langevin Monte Carlo for twice-differentiable potentials (KLMC2). The main focus is on the target densities that are smooth and log-concave on $\mathbb R^p$, but not necessarily strongly log-concave. Bounds on the computational complexity are obtained under two types of smoothness assumption: the potential has a Lipschitz-continuous gradient and the potential has a Lipschitz-continuous Hessian matrix. The error of sampling is measured by Wasserstein-$q$ distances. We advocate for the use of a new dimension-adapted scaling in the definition of the computational complexity, when Wasserstein-$q$ distances are considered. The obtained results show that the number of iterations to achieve a scaled-error smaller than a prescribed value depends only polynomially in the dimension.


翻译:在本文中,我们利用三种分散的朗埃文扩散方案,对目标密度的取样错误提供非方便的上限。第一个方案是Langevin Monte Carlo(LMC)算法,即Langevin扩散的Euler分解。第二和第三个方案分别是不同潜力的动能Langevin Monte Carlo(KLMC)和流动的Langevin Monte Carlo(KLMC2),以两次差异潜力衡量。主要重点是在$\mathbb R ⁇ p$上平滑的和对co-cocave的目标密度,但不一定是强烈的log-concave。计算复杂性的ounds是在两种光滑的假设下获得的:潜力是利普切茨-连续的梯度,潜力是利普切茨-连续的Hesian矩阵。抽样的错误由瓦塞斯坦-q$的距离测量。我们主张在计算结果定义中使用新的尺寸调整的缩放度缩度,但不一定是逻辑-colestinal-deal-tragyal a development flity flation asislation asislup asislation asislation asislation asislation asislation aslup asislation a asislation a asisl astial a as astimedaldaldaldald. asrsteluplupluplupdaldaldaldaldddddaldaldaldaldaldaldalddd. lexistialdaldald.我们主张使用一个小的算算算算算算算算算算算算算算算算算算算算算算到一个数字的数值,只有小到一个数字,只有小的数值,只有小的数值,只有小到一个小的缩缩算算到一个小的数值,只有小的缩缩数,只有小的缩算算数。

0
下载
关闭预览

相关内容

专知会员服务
25+阅读 · 2021年4月2日
专知会员服务
50+阅读 · 2020年12月14日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
保序最优传输:Order-preserving Optimal Transport
我爱读PAMI
6+阅读 · 2018年9月16日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
最佳实践:深度学习用于自然语言处理(三)
待字闺中
3+阅读 · 2017年8月20日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
3+阅读 · 2017年12月1日
VIP会员
相关VIP内容
专知会员服务
25+阅读 · 2021年4月2日
专知会员服务
50+阅读 · 2020年12月14日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
保序最优传输:Order-preserving Optimal Transport
我爱读PAMI
6+阅读 · 2018年9月16日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
最佳实践:深度学习用于自然语言处理(三)
待字闺中
3+阅读 · 2017年8月20日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员