The problem of precision matrix estimation in a multivariate Gaussian model is fundamental to network estimation. Although there exist both Bayesian and frequentist approaches to this, it is difficult to obtain good Bayesian and frequentist properties under the same prior-penalty dual, complicating justification. It is well known, for example, that the Bayesian version of the popular lasso estimator has poor posterior concentration properties. To bridge this gap for the precision matrix estimation problem, our contribution is a novel prior-penalty dual that closely approximates the popular graphical horseshoe prior and penalty, and performs well in both Bayesian and frequentist senses. A chief difficulty with the horseshoe prior is a lack of closed form expression of the density function, which we overcome in this article, allowing us to directly study the penalty function. In terms of theory, we establish posterior convergence rate of the precision matrix that matches the oracle rate, in addition to the frequentist consistency of the maximum a posteriori estimator. In addition, our results also provide theoretical justifications for previously developed approaches that have been unexplored so far, e.g. for the graphical horseshoe prior. Computationally efficient Expectation Conditional Maximization and Markov chain Monte Carlo algorithms are developed respectively for the penalized likelihood and fully Bayesian estimation problems, using the same latent variable framework. In numerical experiments, the horseshoe-based approaches echo their superior theoretical properties by comprehensively outperforming the competing methods. A protein-protein interaction network estimation in B-cell lymphoma is considered to validate the proposed methodology.


翻译:在多变 Gaussian 模型中精确矩阵估算的问题对于网络估算来说是根本的。 虽然巴伊西亚和常客两种方法都存在, 但很难在相同的前针、 复杂的双重理由下获得好巴伊西亚和常客特性。 众所周知, 例如, 流行的巴伊西亚版本的 lasso 估测器的外表集中性特征差。 为了弥补精确矩阵估算问题的这一差距, 我们的贡献是一种新颖的先行前科双轨估算, 近似流行的图形马蹄赛前科和惩罚, 并在巴伊西亚和常客的相互竞争感中表现良好。 与马匹前科相比的主要困难是缺乏密度功能的封闭形式表达, 这使得我们能够直接研究惩罚功能。 从理论上讲, 我们建立精确矩阵的后科混合率, 此外, 我们的结果还提供了一个新颖的先入为主的后科估算方法的理论解释性, 并且通过之前的更替性估算法, 之前的更替性估算方法被研拟的更替了。

0
下载
关闭预览

相关内容

【哥伦比亚大学博士论文】深度概率图建模147页pdf
专知会员服务
88+阅读 · 2021年4月27日
专知会员服务
50+阅读 · 2020年12月14日
专知会员服务
84+阅读 · 2020年12月5日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年6月11日
Arxiv
0+阅读 · 2021年6月9日
Arxiv
0+阅读 · 2021年5月18日
VIP会员
相关资讯
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员