【CMU博士论文】分布偏移下的不确定性量化，226页pdf

在科学发现和实际应用领域，可靠地应用统计方法需要对潜在的失败场景进行彻底检查。一个主要的担忧与部署的方法对数据分布的变化的稳健性有关。一个经典的假设，即收集到的数据由独立地从同一未知分布中抽取的观察值组成（即独立同分布或i.i.d.假设），在现实世界的场景中常常被违反。因此，设计要么本质上对传统假设的违反稳健，要么能有效处理这些违反的统计方法变得至关重要。

本论文的第一部分致力于顺序检测的主题—一种与传统批量检测互补的方法。与批量检测在收集数据之前指定样本大小不同，顺序测试在线处理数据并即时更新推理。具体而言，我们考虑了两个密切相关的问题，即顺序非参数两样本和独立性测试，这两个问题在机器学习和统计学的各个子领域中有广泛的应用，常常涉及高维观测空间，如图像或文本。批量非参数两样本和独立性测试的一个主要缺点是，在一般的复合非参数设置中，即使零假设是错误的，在收集数据之前也无法确定收集多少数据足以拒绝零假设。如果分析师强烈相信零假设是错误的，但指定的样本大小太小，那么就无法解决这个问题，因为错误预算已经被完全利用。相反，过度的数据收集后接批量测试，在包括内存和计算使用在内的几个方面都极不理想。为解决这些局限性，我们为这两个问题开发了一致的顺序测试，并证明了它们的卓越实证性能。

此外，我们考虑了检测有害分布偏移的问题。在实际设置中，测试数据在模型部署期间观察到的情况与训练数据独立且具有相同的分布的假设经常被违反。因此，用一套工具来增强学到的模型变得至关重要，这些工具在发生关键变化时会发出警报。对分布偏移的存在进行朴素测试并不完全实际，因为它未能考虑到偏移的恶性。在良性场景中发出不必要的警报可能导致延迟和部署成本的大幅增加。在这项工作中，我们将有害的偏移定义为根据预定义的指标在模型性能中出现显著下降的偏移，并开发顺序测试来检测这种有害分布偏移的存在。 本论文的第二部分专门研究了预测不确定性量化的主题。对于一个测试点，分类模型通常会输出一组介于零和一之间的分数，自然的意图是以频率的方式来解读这些分数（作为属于每个类的概率）。然而，在没有额外的（强）假设的情况下，这样的解释无法成立。预测和长期标签频率之间的差异称为模型未校准。作为传达不确定性的另一种方式，集值预测为分类返回一组标签，或者为回归问题返回一个区间/一组区间。在执行集值预测的各种工具中，由于在最少的假设下可靠地反映了不确定性，conformal prediction变得流行。

我们正在考虑的一个问题是在二元分类的上下文中进行无分布后校准。我们在校准和用于量化预测不确定性的其他方法之间建立了一个联系，并用它来得出一个无法通过基于缩放的流行校准方法来进行无分布重校准的不可能结果。在另一个项目中，我们考虑了在标签偏移存在时，在部署阶段类标签比例改变（在医学设置中很常见）的情况下，量化预测不确定性的假设轻量级方式。我们分析了在没有来自目标领域的标记数据的情况下处理标签偏移的策略。