【牛津大学博士论文】基于评分规则的生成模型统计推断, 274页pdf

允许生成模拟但不提供分布密度访问的统计模型被称为模拟器模型。它们通常由科学家开发，用于表示自然现象，并依赖于具有物理意义的参数。类似地，生成网络通过将噪声（或潜在）分布的抽样通过神经网络进行转换，从而从概率分布中产生样本；对于模拟器模型，密度是不可获取的。这两个框架是由不同社区独立开发的，可以归为生成模型类；与明确指定密度的统计模型相比，它们更强大且更灵活。

对于生成网络，通常通过通过自动微分启用的梯度下降最小化目标函数来获得参数（或权重）的单点估计。相比之下，对于模拟器模型，通常通过某种统计算法获得参数的概率分布的样本。然而，在这两种情况下，推断方法都依赖于利用模拟的共同原则。在这篇论文中，我遵循通过评分规则评估概率模型如何与观察结果相匹配的原则。这概括了基于密度函数的常见统计实践，并且通过特定的评分规则，允许处理生成模型。

在第1章中进行了详细的介绍和文献综述之后，这篇论文的第一部分（第2章和第3章）涉及推断模拟器模型参数的概率分布的方法。具体来说，第2章通过一种学习概要统计的新方法为传统的贝叶斯无似然推断文献做出贡献，这些概要统计被定义为模拟器模型的最佳指数族近似的充分统计。相反，第3章通过定义一个基于广义贝叶斯推断框架的新的后验分布，而不是作为标准后验的近似来偏离传统。后验分布是通过对模拟器模型可计算的评分规则来定义的，并且对异常值具有鲁棒性。

在论文的第二部分（第4章和第5章），我研究评分规则最小化以确定生成网络的权重；对于评分规则的特定选择，这种方法比流行的替代方法更好地捕捉数据的可变性。我将以这种方式训练的生成网络应用于对不确定性敏感的任务：在第4章中，我使用它们为模拟器模型的参数提供概率分布，从而回到第2章和第3章的主题；相反，在第5章中，我考虑概率预测，同时也确立了训练目标与依赖训练数据的一致性。 最后，我在第6章中总结了一些最终的想法和未来工作的方向。