Gibbs sampling methods for mixture models are based on data augmentation schemes that account for the unobserved partition in the data. Conditional samplers are known to suffer from slow mixing in infinite mixtures, where some form of truncation, either deterministic or random, is required. In mixtures with random number of components, the exploration of parameter spaces of different dimensions can also be challenging. We tackle these issues by expressing the mixture components in the random order of appearance in an exchangeable sequence directed by the mixing distribution. We derive a sampler that is straightforward to implement for mixing distributions with tractable size-biased ordered weights. In infinite mixtures, no form of truncation is necessary. As for finite mixtures with random dimension, a simple updating of the number of components is obtained by a blocking argument, thus, easing challenges found in trans-dimensional moves via Metropolis-Hasting steps. Additionally, sampling occurs in the space of ordered partitions with blocks labelled in the least element order. This improves mixing and promotes a consistent labelling of mixture components throughout iterations. The performance of the proposed algorithm is evaluated on simulated data.


翻译:Gibbs 混合物模型的取样方法基于数据增强计划,其中考虑到数据中未观测到的分区。已知有条件采样器在无限混合物中受到缓慢混合,需要某种形式的脱轨,无论是决定性的还是随机的。在含有随机数量成分的混合物中,探索不同维度的参数空间也可能具有挑战性。我们通过在混合分布所指示的可交换序列中以随机顺序表达混合成分来解决这些问题。我们产生一个采样器,它可以直接用于使用可移动大小偏角定重的混合分布。在无限混合物中,不需要任何形式的脱轨。对于具有随机尺寸的限定混合物,则通过阻塞参数来简单更新部件的数量,从而缓解在通过Metopolis-Hasting步骤的跨维移动中发现的挑战。此外,取样是在定序分区的空间中进行,用最小元素的标签。这改善了混合,促进在整个循环中使用对混合物成分进行一致的标签。提议的算法对模拟数据进行了评估。

0
下载
关闭预览

相关内容

专知会员服务
50+阅读 · 2020年12月14日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
最新《生成式对抗网络》简介,25页ppt
专知会员服务
173+阅读 · 2020年6月28日
知识图谱推理,50页ppt,Salesforce首席科学家Richard Socher
专知会员服务
105+阅读 · 2020年6月10日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
学会期刊丨《中国人工智能学会通讯》2019年 第9卷 第02期
中国人工智能学会
7+阅读 · 2019年2月28日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
已删除
生物探索
3+阅读 · 2018年2月10日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2022年1月24日
Arxiv
0+阅读 · 2022年1月21日
Arxiv
4+阅读 · 2018年1月15日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
学会期刊丨《中国人工智能学会通讯》2019年 第9卷 第02期
中国人工智能学会
7+阅读 · 2019年2月28日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
已删除
生物探索
3+阅读 · 2018年2月10日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员