【剑桥大学博士论文】贝叶斯机器学习进展:从不确定性到决策，272页pdf

贝叶斯不确定性的量化是许多机器学习应用的关键元素。为此，开发了近似推理算法[176]，以相对较低的成本执行推理。尽管最近将近似推理扩展到"大模型×大数据"机制取得了进展，但仍存在许多公开挑战。例如，如何正确地量化复杂、不可识别的模型(如神经网络)的参数不确定性?如何正确处理由缺失数据引起的不确定性，并以可扩展的方式进行学习/推理?此外，如何优化地收集新信息，使缺失数据的不确定性进一步减少，从而做出更好的决策?本文对这些研究问题提出了新的研究方向和新的技术贡献。本文分为两个部分(主题A和主题B)。在主题A中，我们考虑在监督学习设置下量化模型的不确定性。为了克服参数空间推理的一些困难，本文提出了一个新的研究方向，称为函数空间近似推理。也就是说，通过将监督概率模型视为随机过程(对函数的度量)，我们现在可以通过另一类(更简单的)随机过程来近似预测函数的真实后验。为函数空间推理提供了两种不同的方法，并证明它们返回更好的不确定性估计，以及在复杂模型上改进的经验性能。在主题B中，我们考虑了无监督学习环境下缺失数据不确定性的量化。本文提出一种基于深度生成模型的缺失数据不确定性量化新方法。它允许我们摆脱传统方法的计算负担，并执行准确和可扩展的缺失数据填补。此外，利用生成模型返回的不确定性估计，提出了一个信息论框架，用于高效、可扩展和个性化的主动信息获取。这使我们能够最大限度地减少缺失数据的不确定性，并根据新信息做出改进的决策。