【伦敦大学皇家霍洛威学院博士论文】机器学习概率预测，171页pdf

预测是许多机器学习应用的关键目标。准确、可靠和稳健的预测对于人工智能系统的下游组件做出最优和公平的决定至关重要，尤其是在高风险的应用领域，如个性化健康、自动驾驶汽车、金融、新药开发、选举结果预测和流行病。许多现代机器学习算法输出过度自信的预测，导致错误的决策和技术接受问题。经典的校准方法依赖于人工假设，经常导致过拟合，而现代校准方法试图通过修改黑盒深度学习系统的组件来解决校准问题。虽然这提供了部分解决方案，但这种修改不能提供预测有效性的数学保证，而且具有侵入性、复杂性和实现成本。

本文介绍了一种用于机器学习分类和回归问题的良好校准概率预测的新方法。提出了一种新的多类分类方法，并与传统的标定方法进行了比较。在回归模型中，本文提出了一种新的概率回归方法，以推导出在非参数IID假设下有效的、与经典共形预测方法相比包含更多信息的预测分布函数，并保证覆盖率，同时提高了计算效率。对本文介绍的方法进行的实验研究表明，在最先进的技术方面具有优势。分离共形预测系统的主要优势是其保证有效性，而交叉共形预测系统在没有过多随机化的情况下享有更高的预测效率和经验有效性。