A mixture of experts models the conditional density of a response variable using a finite mixture of regression models with covariate-dependent mixture weights. We extend the model by allowing the parameters in both the mixture components and the weights to evolve in time following random walk processes. Inference for time-varying parameters in richly parameterized mixture of experts models is challenging. We propose a sequential Monte Carlo algorithm for online inference and based on a tailored proposal distribution built on ideas from linear Bayes methods and the EM algorithm. The method gives a unified treatment for mixtures with essentially any density components, including the special case of static parameters. We assess the properties of the method on simulated data and on industrial data where the aim is to predict software faults in a continuously upgraded large-scale software project.


翻译:一种专家混合模型,用具有共变依赖混合物重量的回归模型的有限混合物来模拟反应变量的有条件密度。我们通过允许混合物成分和重量的参数在随机行走过程之后随着时间的演变来扩展模型。在丰富参数化的专家混合模型中,对时间变化参数的推论具有挑战性。我们提出一个连续的蒙特卡洛算法,用于在线推论,并以基于线性贝斯方法和EM算法设想的量身定制的建议分布为基础。该方法对基本上包含任何密度成分的混合物,包括静态参数的特殊情形进行统一处理。我们评估模拟数据和工业数据方法的特性,目的是预测不断升级的大型软件项目的软件缺陷。

0
下载
关闭预览

相关内容

专知会员服务
39+阅读 · 2020年9月6日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
已删除
将门创投
7+阅读 · 2018年11月5日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2021年11月15日
Arxiv
3+阅读 · 2018年2月24日
Arxiv
5+阅读 · 2018年1月16日
VIP会员
相关VIP内容
专知会员服务
39+阅读 · 2020年9月6日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
已删除
将门创投
7+阅读 · 2018年11月5日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员