【博士论文】小型和大型模型的不确定性估计

机器学习模型已广泛应用于许多高风险领域，包括医疗保健和刑事司法。由于这些模型被用来做出重要决策，例如是否为客户提供贷款，因此在采取行动之前量化不确定性至关重要。如果不这样做，我们就可能采取不适当的行动，将错误的信任寄托在潜在有缺陷的模型估计上。因此，在本论文中，我们开发了针对不同领域的不确定性估计方法。首先，我们专注于理解政府干预对COVID-19传播的影响。我们使用贝叶斯建模，这为在不确定性下的推理和决策提供了一个有原则的框架。具体而言，我们使用半机械化层次模型来提供干预效果大小的稳健估计。在这种情况下，模型参数和潜在变量具有语义意义，数据集较小，且准确推理是可行的，贝叶斯方法表现出色。接下来，我们将注意力转向使用神经网络的监督学习。与COVID-19模型不同，即使拥有大量计算资源，在这种设置下近似推理也是不准确的。此外，在这些黑箱模型中设置先验是具有挑战性的。为了取得进展，我们认为预测算法不必保持每个模型参数的分布，而是部分随机网络同样有充分的理论支持。接着，我们开发了部分随机贝叶斯神经网络，利用未标记数据改进先验预测分布。随后，我们展示了贝叶斯建模如何与现代无监督学习方法有效结合，通过使用大型语言模型从结构化输入中提取特征。这些特征可以输入到贝叶斯模型中，以理解复杂现象并提供不确定性估计。总的来说，我们展示了多种不同的方法是获得有用且适当不确定的预测所必需的，并提供了对贝叶斯方法在现代机器学习中应用的深入见解。