高斯过程(Gaussian Process, GP)是概率论和数理统计中随机过程(stochastic process)的一种,是一系列服从正态分布的随机变量(random variable)在一指数集(index set)内的组合。 高斯过程中任意随机变量的线性组合都服从正态分布,每个有限维分布都是联合正态分布,且其本身在连续指数集上的概率密度函数即是所有随机变量的高斯测度,因此被视为联合正态分布的无限维广义延伸。高斯过程由其数学期望和协方差函数完全决定,并继承了正态分布的诸多性质

VIP内容

我们定义了深度核过程,其中正定格拉姆矩阵由非线性核函数和(逆)Wishart分布的采样逐步变换。值得注意的是,我们发现深度高斯过程(DGPs),贝叶斯神经网络(BNNs),无限的BNNs和无限的有瓶颈的BNNs都可以写成深度核过程。对于DGPs,产生等价是因为由特征的内积形成的格拉姆矩阵是Wishart分布的,正如我们所示,标准的各向同性核完全可以用这个格拉姆矩阵来表示——我们不需要关于底层特征的知识。我们定义了一个可处理的深度核过程,即深度逆Wishart过程,并给出了一个双随机诱导点变分推理方案,该方案作用于Gram矩阵,而不是像DGPs中那样作用于特征。结果表明,在全连通基线上,深度逆Wishart过程的性能优于DGPs和无限BNN网络。

成为VIP会员查看完整内容
0
17
Top