We offer a general Bayes theoretic framework to derive posterior contraction rates under a hierarchical prior design: the first-step prior serves to assess the model selection uncertainty, and the second-step prior quantifies the prior belief on the strength of the signals within the model chosen from the first step. In particular, we establish non-asymptotic oracle posterior contraction rates under (i) a local Gaussianity condition on the log likelihood ratio of the statistical experiment, (ii) a local entropy condition on the dimensionality of the models, and (iii) a sufficient mass condition on the second-step prior near the best approximating signal for each model. The first-step prior can be designed generically. The posterior distribution enjoys Gaussian tail behavior and therefore the resulting posterior mean also satisfies an oracle inequality, automatically serving as an adaptive point estimator in a frequentist sense. Model mis-specification is allowed in these oracle rates. The local Gaussianity condition serves as a unified attempt of non-asymptotic Gaussian quantification of the experiments, and can be easily verified in various experiments considered in [GvdV07a] and beyond. The general results are applied in various problems including: (i) trace regression, (ii) shape-restricted isotonic/convex regression, (iii) high-dimensional partially linear regression, (iv) covariance matrix estimation in the sparse factor model, (v) detection of non-smooth polytopal image boundary, and (vi) intensity estimation in a Poisson point process model. These new results serve either as theoretical justification of practical prior proposals in the literature, or as an illustration of the generic construction scheme of a (nearly) minimax adaptive estimator for a complicated experiment.


翻译:我们提供了一个通用的贝亚理论框架, 用于在先等级设计下得出后端缩缩率 : 第一步前用来评估模型选择不确定性, 第二阶段前用来量化从第一步中选择的模型内信号的强度先前的信念。 特别是, 我们根据以下几个方面, 建立了一个非无线或触角后端收缩率: (一) 在统计实验的日志概率比上, 一个本地高尔氏度条件 ; (二) 模型的维度上方的局部回归率条件 ; (三) 在接近每种模型的最接近的直径直径估算信号之前的第二步上有足够的质量条件 。 第一步前可以通用地对从第一步中选择的信号的强度进行假设。 后端分布包含高端尾部行为, 因此后端也意味着一种常态变缩缩缩缩缩率。 模型的精确度可以用于这些变缩缩率( 本地测算值的直径直缩缩数, 当地测算状态可以作为非自定义直径直径直径的图性估算结果 ) 。 (在实验中, 很容易地将各种直径直径直径测算结果 ),,,, 在各种演测算中,,,, 在各种演测测算中,,, 在各种测算中,,,,,, 在各种测测算中, 可以算中,,, 各种,,,,,,,, 各种 各种,,,,,, 解算算算算算算算算算结果,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,, 在,,,,,,,,,,,,,,,, 在各种,,,,,,,,,,,, 在, 在,

0
下载
关闭预览

相关内容

【AAAI2021】低资源医疗对话生成的图演化元学习
专知会员服务
47+阅读 · 2020年12月26日
专知会员服务
159+阅读 · 2020年1月16日
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
资源|斯坦福课程:深度学习理论!
全球人工智能
17+阅读 · 2017年11月9日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年4月2日
Arxiv
0+阅读 · 2021年4月1日
Arxiv
9+阅读 · 2019年4月19日
Arxiv
5+阅读 · 2018年1月17日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
资源|斯坦福课程:深度学习理论!
全球人工智能
17+阅读 · 2017年11月9日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员