Priors in Bayesian analyses often encode informative domain knowledge that can be useful in making the inference process more efficient. Occasionally, however, priors may be unrepresentative of the parameter values for a given dataset, which can result in inefficient parameter space exploration, or even incorrect inferences, particularly for nested sampling (NS) algorithms. Simply broadening the prior in such cases may be inappropriate or impossible in some applications. Hence our previous solution to this problem, known as posterior repartitioning (PR), redefines the prior and likelihood while keeping their product fixed, so that the posterior inferences and evidence estimates remain unchanged, but the efficiency of the NS process is significantly increased. In its most practical form, PR raises the prior to some power $\beta$, which is introduced as an auxiliary variable that must be determined on a case-by-case basis, usually by lowering $\beta$ from unity according to some pre-defined `annealing schedule' until the resulting inferences converge to a consistent solution. Here we present a very simple yet powerful alternative Bayesian approach, in which $\beta$ is instead treated as a hyperparameter that is inferred from the data alongside the original parameters of the problem, and then marginalised over to obtain the final inference. We show through numerical examples that this Bayesian PR (BPR) method provides a very robust, self-adapting and computationally efficient `hands-off' solution to the problem of unrepresentative priors in Bayesian inference using NS. Moreover, unlike the original PR method, we show that even for representative priors BPR has a negligible computational overhead relative to standard nesting sampling, which suggests that it should be used as the default in all NS analyses.


翻译:贝叶西亚先前的分析常常将有助于提高推断过程效率的知情领域知识编成法典。不过,偶尔,事先可能不代表特定数据集的参数值,这可能导致空间空间探索效率低下,甚至错误推论,特别是嵌入式抽样算法。仅仅扩大此类情况下的先导范围,在某些应用中可能不合适或不可能。因此,我们以前对这一问题的解决办法,即后导再分配(PR),重新定义先前和可能性,同时保持其产品固定,以便事后推论和证据估计保持不变,但NS进程的效率却显著提高。在最实际的形式中,PR会提高某些先导力,特别是嵌入式抽样算法。通常通过将美元从统一到某种预先定义的“抵消时间表”降低到某些预定义的“抵消时间表 ”, 从而重新定义其先前的预测和证据估计值估计值,因此,我们在这里展示了一个非常简单但有力的相对的替代方法, 也就是在原始的汇率推算中, 之前的推算法表明, 之前的推算法是比原始的推算法。

0
下载
关闭预览

相关内容

【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
【新书】贝叶斯网络进展与新应用,附全书下载
专知会员服务
119+阅读 · 2019年12月9日
知识图谱在可解释人工智能中的作用,附81页ppt
专知会员服务
137+阅读 · 2019年11月11日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
【TED】生命中的每一年的智慧
英语演讲视频每日一推
9+阅读 · 2019年1月29日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Robust subspace recovery by Tyler's M-estimator
Arxiv
0+阅读 · 2021年4月29日
Arxiv
0+阅读 · 2021年4月29日
Arxiv
0+阅读 · 2021年4月28日
Arxiv
4+阅读 · 2018年1月15日
VIP会员
相关资讯
Top
微信扫码咨询专知VIP会员