【CMU博士论文】校准不确定性量化的方法及其效用解析

随着机器学习模型在处理复杂数据方面能力的不断提升，它们被赋予了越来越多的预测任务。随着对模型预测依赖性的增强，能够评估某一预测结果是否可靠也变得同样重要。在这一背景下，不确定性量化（Uncertainty Quantification, UQ）扮演着关键角色，它为模型预测提供置信度的度量。 本论文在机器学习中的不确定性量化问题上，分三个阶段展开研究。第一部分综述了 UQ 的评估方法以及开源软件，这些软件为预测不确定性的评估、可视化和再校准提供了多种工具。第二部分讨论了旨在生成校准良好的回归模型预测不确定性的算法，此类模型会对连续值输出生成分布。本部分的第一项工作提出了一套用于训练单变量概率回归模型的算法，而第二项工作则将其扩展到多变量情形。第三部分则聚焦于在决策场景中对预测不确定性的利用。不同的应用环境决定了不确定性的使用方式，我展示了一系列相关研究，涵盖了单步决策、序列决策以及基于模型的强化学习场景。