【ICML2021】深度核过程

我们定义了深度核过程，其中正定格拉姆矩阵由非线性核函数和(逆)Wishart分布的采样逐步变换。值得注意的是，我们发现深度高斯过程(DGPs)，贝叶斯神经网络(BNNs)，无限的BNNs和无限的有瓶颈的BNNs都可以写成深度核过程。对于DGPs，产生等价是因为由特征的内积形成的格拉姆矩阵是Wishart分布的，正如我们所示，标准的各向同性核完全可以用这个格拉姆矩阵来表示——我们不需要关于底层特征的知识。我们定义了一个可处理的深度核过程，即深度逆Wishart过程，并给出了一个双随机诱导点变分推理方案，该方案作用于Gram矩阵，而不是像DGPs中那样作用于特征。结果表明，在全连通基线上，深度逆Wishart过程的性能优于DGPs和无限BNN网络。