Discretization of continuous-time diffusion processes is a widely recognized method for sampling. However, the canonical Euler Maruyama discretization of the Langevin diffusion process, referred as Unadjusted Langevin Algorithm (ULA), studied mostly in the context of smooth (gradient Lipschitz) and strongly log-concave densities, is a considerable hindrance for its deployment in many sciences, including statistics and machine learning. In this paper, we establish several theoretical contributions to the literature on such sampling methods for non-convex distributions. Particularly, we introduce a new mixture weakly smooth condition, under which we prove that ULA will converge with additional log-Sobolev inequality. We also show that ULA for smoothing potential will converge in $L_{2}$-Wasserstein distance. Moreover, using convexification of nonconvex domain \citep{ma2019sampling} in combination with regularization, we establish the convergence in Kullback-Leibler (KL) divergence with the number of iterations to reach $\epsilon$-neighborhood of a target distribution in only polynomial dependence on the dimension. We relax the conditions of \citep{vempala2019rapid} and prove convergence guarantees under isoperimetry, and non-strongly convex at infinity.


翻译:连续时间扩散过程的分解是广泛公认的取样方法。然而,主要在平滑(利普西茨平坦)和极强的日志混凝土密度背景下研究的Langevin扩散过程(ULA),主要是在平滑(利普西茨平坦)和极强的日志混凝土密度背景下研究的Culonic Euler Maruyama(ULA),是在许多科学中部署这种连续时间扩散过程的巨大障碍,包括统计和机器学习。在本文中,我们为非康威分布的这种抽样方法文献作出了一些理论贡献。特别是,我们引入了一种新的混和不平稳状态状态,在这种状态下,我们证明ULA(ULA)会与更多正对日志-Sobolevlevlev(ULA)相融合。我们还表明,光滑动潜力的ULA(ULA)将聚集在$L%19的距离上。此外,利用非convex域域域域域域域域的混凝固度结合,我们在Krequep-limpalalalimalalimalimalimalislation degilal degyal degilatemental degilatement degildal degild)中,我们在Webilatemental degilate 20 pral degilatementmentmentmentmentmentmentmentmentmentmentmentmentmentmentmentmentmentmentmentmentmentmentmentmentmentmental 20 pril prilatemental pril 20 prev pril press pril press press press press press press press press press press 和正正正正正正正正正正正正正正正正的平面条件上建立了下,我们建立 20。

0
下载
关闭预览

相关内容

专知会员服务
91+阅读 · 2021年6月3日
专知会员服务
25+阅读 · 2021年4月2日
专知会员服务
42+阅读 · 2020年12月18日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
VALSE Webinar 特别专题之产学研共舞VALSE
VALSE
7+阅读 · 2019年9月19日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
ICML2019机器学习顶会接受论文列表!
专知
10+阅读 · 2019年5月12日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
4+阅读 · 2021年7月1日
VIP会员
相关VIP内容
专知会员服务
91+阅读 · 2021年6月3日
专知会员服务
25+阅读 · 2021年4月2日
专知会员服务
42+阅读 · 2020年12月18日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
相关资讯
VALSE Webinar 特别专题之产学研共舞VALSE
VALSE
7+阅读 · 2019年9月19日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
ICML2019机器学习顶会接受论文列表!
专知
10+阅读 · 2019年5月12日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员