We examine and compare the predictive properties of classes of ensemble methods, including the recently developed Bayesian predictive synthesis (BPS). We develop a novel strategy based on stochastic processes, where the predictive processes are expressed as stochastic differential equations, evaluated using It\^{o}'s lemma. Using this strategy, we identify two main classes of ensemble methods: linear combination and non-linear synthesis, and show that a subclass of BPS is the latter. With regard to expected squared forecast error, we identify the conditions and mechanism for which non-linear synthesis improves over linear combinations; conditions that are commonly met in real world applications. We further show that a specific form of non-linear BPS (as in McAlinn and West, 2019) produces exact minimax predictive distributions for Kullback-Leibler risk and, under certain conditions, quadratic risk. A finite sample simulation study is presented to illustrate our results.


翻译:我们研究并比较各类混合方法的预测特性,包括最近开发的贝叶斯预测合成(BPS),我们根据随机过程制定了新的战略,预测过程以随机差异方程式表示,使用It ⁇ o}的 Lemma 进行评估。我们利用这一战略确定了两种主要组合方法:线性组合和非线性合成,并表明BPS的子类是后者。关于预期的正方形预测错误,我们确定了非线性合成比线性组合改进的条件和机制;现实世界应用中通常满足的条件。我们进一步展示了非线性BPS的具体形式(如McAlinn和West,2019年,为Kullback-Lebeller的风险和在某些情况下的四重风险产生精确的微缩式预测分布。我们介绍了一个有限的抽样模拟研究,以说明我们的结果。

0
下载
关闭预览

相关内容

【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
【经典书】贝叶斯编程,378页pdf,Bayesian Programming
专知会员服务
247+阅读 · 2020年5月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
11+阅读 · 2019年2月1日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2020年12月2日
Arxiv
0+阅读 · 2020年12月1日
Arxiv
0+阅读 · 2020年11月28日
VIP会员
相关VIP内容
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
【经典书】贝叶斯编程,378页pdf,Bayesian Programming
专知会员服务
247+阅读 · 2020年5月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
相关资讯
论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
11+阅读 · 2019年2月1日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员