【ICML2021】基于子网络推理的贝叶斯深度学习

贝叶斯范式有潜力解决深度神经网络的核心问题，如校准差和数据效率低。唉，将贝叶斯推理扩展到大权重空间通常需要限制性的近似。在这项工作中，我们证明，为了获得准确的预测后验，对模型权重的一个小子集进行推理是足够的。其他权重保留为点估计值。这个子网络推理框架使我们能够在这些子集上使用表达性的，否则难以处理的后验近似。特别地，我们将子网络线性化拉普拉斯作为一种简单的、可扩展的贝叶斯深度学习方法来实现:我们首先获得所有权重的MAP估计，然后使用线性化拉普拉斯近似来推断子网络上的全协方差高斯后程。我们提出了一种子网络选择策略，旨在最大限度地保持模型的预测不确定性。