Model selection in latent block models has been a challenging but important task in the field of statistics. Specifically, a major challenge is encountered when constructing a test on a block structure obtained by applying a specific clustering algorithm to a finite size matrix. In this case, it becomes crucial to consider the selective bias in the block structure, that is, the block structure is selected from all the possible cluster memberships based on some criterion by the clustering algorithm. To cope with this problem, this study provides a selective inference method for latent block models. Specifically, we construct a statistical test on a set of row and column cluster memberships of a latent block model, which is given by a squared residue minimization algorithm. The proposed test, by its nature, includes and thus can also be used as the test on the set of row and column cluster numbers. We also propose an approximated version of the test based on simulated annealing to avoid combinatorial explosion in searching the optimal block structure. The results show that the proposed exact and approximated tests work effectively, compared to the naive test that did not take the selective bias into account.


翻译:潜在区块模型的选择是统计领域一项具有挑战性但重要的任务。 具体地说, 在对有限体积矩阵应用特定组群算法对一个区块结构进行测试时, 遇到一个重大挑战。 在这种情况下, 关键是要考虑块块结构中的选择性偏差, 即块结构是根据群群算算法的某些标准从所有可能的组群成员中挑选出来的。 为了解决这个问题, 本研究为潜在区块模型提供了有选择的推断方法。 具体地说, 我们用一组行和列组群组成一个潜在区块模型的统计测试, 由平方残余最小化算法提供。 拟议的测试就其性质而言, 包括并因此也可以用作一组行和列组群数的测试。 我们还提出一个基于模拟射线的大致试验版本, 以避免在搜索最佳区块结构时发生组合爆炸。 结果显示, 与没有考虑到选择性偏差的天性测试相比, 拟议的精确和估计的测试是有效的。

0
下载
关闭预览

相关内容

专知会员服务
55+阅读 · 2021年5月17日
注意力机制综述
专知会员服务
82+阅读 · 2021年1月26日
专知会员服务
42+阅读 · 2020年7月29日
自动结构变分推理,Automatic structured variational inference
专知会员服务
38+阅读 · 2020年2月10日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
A Probe into Understanding GAN and VAE models
Arxiv
9+阅读 · 2018年12月13日
Hyperspherical Variational Auto-Encoders
Arxiv
4+阅读 · 2018年9月26日
Arxiv
3+阅读 · 2018年6月18日
Arxiv
5+阅读 · 2017年12月29日
VIP会员
相关VIP内容
专知会员服务
55+阅读 · 2021年5月17日
注意力机制综述
专知会员服务
82+阅读 · 2021年1月26日
专知会员服务
42+阅读 · 2020年7月29日
自动结构变分推理,Automatic structured variational inference
专知会员服务
38+阅读 · 2020年2月10日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员