【剑桥大学博士论文】深度学习中的不确定性估计及其在口语评价中的应用，234页pdf

自2012年卷积神经网络(CNNs)在ImageNet任务中取得最佳性能以来，深度学习已成为解决计算机视觉、自然语言处理、语音识别和生物信息学任务的首选方法。然而，尽管表现令人印象深刻，神经网络往往会做出过于置信的预测。为了构建更安全的机器学习系统，有必要对模型预测中的不确定性进行健壮的、可解释的和可处理的估计。这对于错误成本高的应用至关重要，例如自动驾驶汽车控制、高风险的自动熟练程度评估以及医疗、金融和法律领域。本文的第一部分详细讨论了基于集成和单模型的不确定性估计方法，并提出了一种新的不确定性估计模型——先验网络。先前的网络能够使用单一的确定性神经网络来模拟模型集成，它允许在与基于集成的方法相同的概率框架内确定不确定性的来源，但具有单一模型方法计算简单和易于训练。因此，先验网络结合了集成方法和单模型方法的优点来估计不确定性。在这篇论文中，先前的网络是在一个范围分类数据集上进行评估的，在检测分布外输入的任务上，它们的表现优于基线方法，如蒙特卡罗Dropout。本文的第二部分将深度学习和不确定性估计方法应用于非母语口语能力的自动评估。具体来说，基于深度学习的评分者和口语反应相关性评估系统是使用剑桥英语语言评估提供的BULATS和LinguaSkill考试数据构建的。本文前半部分讨论和评估的不确定性估计基线方法，随后应用于这些模型，并在拒绝由人工考官评分的预测和发现错误分类的任务上进行评估。

https://www.repository.cam.ac.uk/handle/1810/298857