【剑桥大学博士论文】卷积条件神经过程，226页pdf

神经过程是一种模型家族，它使用神经网络直接参数化从数据集到预测的映射。直接参数化这种映射使得在传统上神经网络会过拟合的小数据问题中使用表达性强的神经网络成为可能。神经过程能够产生校准良好的不确定性，有效处理缺失数据，并且易于训练。这些属性使得这个模型家族在如医疗保健或环境科学等广泛的应用领域中显得非常吸引人。

本论文在三个方面推进了神经过程。

首先，我们提出了卷积神经过程（ConvNPs）。ConvNPs通过构建一种称为平移等变性的对称性来提高神经过程的数据效率。ConvNPs依赖于卷积神经网络而不是多层感知器。 其次，我们提出了高斯神经过程（GNPs）。GNPs直接参数化神经过程预测中的依赖性。当前对预测依赖性建模的方法依赖于一个潜在变量，因此需要近似推理，这削弱了方法的简便性。 第三，我们提出了自回归条件神经过程（AR CNPs）。AR CNPs在不对模型或训练程序进行任何修改的情况下训练神经过程，并在测试时以自回归的方式展开模型。AR CNPs为神经过程框架配备了一个新的旋钮，可以在训练时将建模复杂性和计算开销与测试时的计算开销进行交换。 除了方法论上的进步，本论文还提出了一种软件抽象，使得实现神经过程的方式可以组合。这种方法允许用户通过以不同方式组合基本构建块来快速探索神经过程模型的空间。