Markov chain Monte Carlo (MCMC) is a powerful methodology for the approximation of posterior distributions. However, the iterative nature of MCMC does not naturally facilitate its use with modern highly parallelisable computation on HPC and cloud environments. Another concern is the identification of the bias and Monte Carlo error of produced averages. The above have prompted the recent development of fully (`embarrassingly') parallelisable unbiased Monte Carlo methodology based on couplings of MCMC algorithms. A caveat is that formulation of effective couplings is typically not trivial and requires model-specific technical effort. We propose couplings of sequential Monte Carlo (SMC) by considering adaptive SMC to approximate complex, high-dimensional posteriors combined with recent advances in unbiased estimation for state-space models. Coupling is then achieved at the SMC level and is, in general, not problem-specific. The resulting methodology enjoys desirable theoretical properties. We illustrate the effectiveness of the algorithm via application to two statistical models in high dimensions: (i) horseshoe regression; (ii) Gaussian graphical models.


翻译:Markov 链条 Monte Carlo(MCMC)是近似后向分布的有力方法,然而,MCMC的迭接性自然不会促进其在高电聚物和云层环境中的现代高度平行计算的使用,另一个关切是发现生产平均值的偏差和Monte Carlo错误,上述因素促使最近根据MC的混合算法,开发了完全(“无差别地”的可平行的、不带偏见的蒙特卡洛方法。一个警告是,有效结合的形成通常不是微不足道的,需要针对具体模型的技术努力。我们建议将相继的Monte Carlo(SMC)结合为适应性强的复杂、高维的近代相像体,加上最近对州空间模型的无偏倚度估计的进展。随后在SMC一级实现的结合,一般而言,不针对具体问题。由此产生的方法具有理想的理论特性。我们通过在高层次上应用两种统计模型来说明该算法的有效性:(一) 马蹄回归;(二) Gossian 图形模型。

0
下载
关闭预览

相关内容

专知会员服务
42+阅读 · 2020年12月18日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
计算机类 | LICS 2019等国际会议信息7条
Call4Papers
3+阅读 · 2018年12月17日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
14+阅读 · 2020年12月17日
Arxiv
7+阅读 · 2020年6月29日
Arxiv
3+阅读 · 2018年2月24日
Arxiv
4+阅读 · 2018年1月15日
VIP会员
Top
微信扫码咨询专知VIP会员