Deep Gaussian Processes (DGPs) were proposed as an expressive Bayesian model capable of a mathematically grounded estimation of uncertainty. The expressivity of DPGs results from not only the compositional character but the distribution propagation within the hierarchy. Recently, [1] pointed out that the hierarchical structure of DGP well suited modeling the multi-fidelity regression, in which one is provided sparse observations with high precision and plenty of low fidelity observations. We propose the conditional DGP model in which the latent GPs are directly supported by the fixed lower fidelity data. Then the moment matching method in [2] is applied to approximate the marginal prior of conditional DGP with a GP. The obtained effective kernels are implicit functions of the lower-fidelity data, manifesting the expressivity contributed by distribution propagation within the hierarchy. The hyperparameters are learned via optimizing the approximate marginal likelihood. Experiments with synthetic and high dimensional data show comparable performance against other multi-fidelity regression methods, variational inference, and multi-output GP. We conclude that, with the low fidelity data and the hierarchical DGP structure, the effective kernel encodes the inductive bias for true function allowing the compositional freedom discussed in [3,4].


翻译:深高斯进程(DGPs)被提议为一种能以数学依据估计不确定性的表达式贝叶西亚模型。DPGs的表达式不仅来自组成字符,而且来自等级内部的分布分布。最近,[1]指出,DGP的等级结构非常适合多信仰回归的模型,其中以高精度和大量低忠诚度观测为稀疏的观测提供。我们提议了有条件的DGP模型,其中潜伏的GPs直接得到固定的低忠诚度数据的支持。然后,[2]中的时间匹配方法应用到有条件的DGPP之前的边缘。获得的有效内核是较低忠诚度数据的隐含功能,表明在等级内部的分布传播所促成的表达式。通过优化近似边缘可能性来学习超参数。与合成和高维度数据进行实验表明与其他多信仰回归方法、变异推法和多输出GPGPS的可比较性。我们的结论是,随着低忠诚度数据的低真实性,允许高级的DGPKF4结构中讨论的等级偏差性,我们得出的结论是,允许DGPGPK4级结构中讨论的磁性。

0
下载
关闭预览

相关内容

专知会员服务
31+阅读 · 2021年7月15日
专知会员服务
52+阅读 · 2020年9月7日
深度强化学习策略梯度教程,53页ppt
专知会员服务
177+阅读 · 2020年2月1日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年11月25日
Arxiv
0+阅读 · 2021年11月25日
Arxiv
0+阅读 · 2021年11月24日
Arxiv
5+阅读 · 2018年6月12日
Arxiv
3+阅读 · 2018年3月21日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Arxiv
0+阅读 · 2021年11月25日
Arxiv
0+阅读 · 2021年11月25日
Arxiv
0+阅读 · 2021年11月24日
Arxiv
5+阅读 · 2018年6月12日
Arxiv
3+阅读 · 2018年3月21日
Top
微信扫码咨询专知VIP会员