贝叶斯方法可以用于学习神经网络权重的概率分布。将神经网络中的wi 和 b 由确定的值变成分布(distributions)。具体而言,为弥补反向传播的不足,通过在模型参数或模型输出上放置概率分布来估计。在权重上放置一个先验分布,然后尝试捕获这些权重在给定数据的情况下变化多少来模拟认知不确定性。该方法不是训练单个网络,而是训练网络集合,其中每个网络的权重来自共享的、已学习的概率分布。

VIP内容

贝叶斯范式有潜力解决深度神经网络的核心问题,如校准差和数据效率低。唉,将贝叶斯推理扩展到大权重空间通常需要限制性的近似。在这项工作中,我们证明,为了获得准确的预测后验,对模型权重的一个小子集进行推理是足够的。其他权重保留为点估计值。这个子网络推理框架使我们能够在这些子集上使用表达性的,否则难以处理的后验近似。特别地,我们将子网络线性化拉普拉斯作为一种简单的、可扩展的贝叶斯深度学习方法来实现:我们首先获得所有权重的MAP估计,然后使用线性化拉普拉斯近似来推断子网络上的全协方差高斯后程。我们提出了一种子网络选择策略,旨在最大限度地保持模型的预测不确定性。

成为VIP会员查看完整内容
0
20
Top