Zig-Zag is Piecewise Deterministic Markov Process, efficiently used for simulation in an MCMC setting. As we show in this article, it fails to be exponentially ergodic on heavy tailed target distributions. We introduce an extension of the Zig-Zag process by allowing the process to move with a non-constant speed function $s$, depending on the current state of the process. We call this process Speed Up Zig-Zag (SUZZ). We provide conditions that guarantee stability properties for the SUZZ process, including non-explosivity, exponential ergodicity in heavy tailed targets and central limit theorem. Interestingly, we find that using speed functions that induce explosive deterministic dynamics may lead to stable algorithms that can even mix faster. We further discuss the choice of an efficient speed function by providing an efficiency criterion for the one-dimensional process and we support our findings with simulation results.


翻译:Zig-Zag 是一个零星的确定性Markov 进程, 在MCMC 设置中高效地用于模拟。 正如我们在本篇文章中所显示的, 它没有在重尾尾部目标分布上成为指数性EGDID。 我们引入了 Zig-Zag 进程的扩展, 允许该过程以非恒定速度函数移动, 取决于该过程的当前状态。 我们称之为“ 加速Zig-Zag (SUZZ) 进程。 我们提供了一些条件, 保证SUZ 进程的稳定性, 包括非爆炸性、 重尾部目标中的指数性惯性以及中央限制理论。 有趣的是, 我们发现, 使用速度函数诱发爆炸确定性动态, 可能导致稳定的算法, 甚至可以更快地混合。 我们进一步讨论高效速度函数的选择, 为一维进程提供一个效率标准, 我们用模拟结果来支持我们的结论 。

0
下载
关闭预览

相关内容

Processing 是一门开源编程语言和与之配套的集成开发环境(IDE)的名称。Processing 在电子艺术和视觉设计社区被用来教授编程基础,并运用于大量的新媒体和互动艺术作品中。
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
专知会员服务
17+阅读 · 2020年9月6日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
已删除
将门创投
3+阅读 · 2019年5月6日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
2nd-order Updates with 1st-order Complexity
Arxiv
0+阅读 · 2021年5月24日
Arxiv
0+阅读 · 2021年5月22日
Arxiv
6+阅读 · 2018年7月29日
Arxiv
3+阅读 · 2017年12月14日
VIP会员
相关VIP内容
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
专知会员服务
17+阅读 · 2020年9月6日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
相关资讯
已删除
将门创投
3+阅读 · 2019年5月6日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员