【MIT博士论文】基于数据的模型可靠性视角，322页pdf

神经网络可能无法泛化到现实世界数据——特别是在可能被错误标记、损坏或在训练过程中代表性不足的子群体上。在这种情况下，模型依赖的一组特征，或其特征先验，通常决定了模型的最终可靠性。虽然许多因素对模型的特征先验有贡献，但最近的证据表明，训练数据集通常扮演着关键角色。因此，本论文旨在通过揭示训练数据集的组成如何影响模型的特征先验，从而影响模型倾向于犯的错误，为基于数据的模型可靠性视角奠定基础。通过两个主要推动力实现这一目标：开发可扩展工具以在大数据集中识别模型失败模式，并调查预训练数据对迁移学习模型可靠性的影响。

在第一个推动力中，我们开发了技术以揭示模型错误的有意义模式，特别是在手动探索代价过高的情况下。这包括建立一个生成反事实图像以调试模型行为的框架，以及引入一种自动识别失败模式的技术，通过将它们提炼为潜空间中的方向。我们还提出了一种基于数据的方法来从源头上缓解这些失败，通过隔离驱动目标偏见的训练示例来缓解这些失败。

在第二个推动力中，我们调查了预训练数据在迁移学习设置中的作用，其中预训练模型被适应到下游任务。在这里，我们首先探索“偏见转移”的问题，其中来自预训练模型的偏见即使在将模型适应到下游任务后也可以持续存在。然后我们引入转移影响，一个框架用于精确地指出预训练数据点对最终预测的反事实影响。这个框架使我们能够隔离（并移除）预训练数据集中的有害点，以提高迁移学习性能。

过去二十年里，深度学习在从图像识别[DDS+09; ZK16]、生物学[JEP+21]、自然语言[Ope23; BAP+15]到自动驾驶[KP17; DGS19]等领域取得了惊人的成功。深度学习之所以受欢迎的核心，在于其自动从复杂的高维数据集中学习强大特征的能力。然而，同时，神经网络可能无法可靠地泛化到真实世界数据——特别是在可能在训练期间被错误标记、损坏或代表性不足的子群体上。神经网络对分布变化特别敏感，部署条件与训练环境不同时[TSE+20; HD19; RGL19]。因此，即使是背景变化[BVP18; XEI+20; BMA+19]、对象姿态[ETT+19; ALG+19]和数据收集管道[RRS+19; EIS+20]等小的变化也可能导致部署失败。

在这样的设置中，什么决定了模型的性能？最重要的因素之一是模型依赖的一组特征，或其特征先验[JTM22]。例如，一个过度依赖图像背景的对象分类器可能难以在新环境中正确预测对象。设计选择，如架构[LBD+89; SJW+21]、数据增强[GRM+19]和对抗性训练[MMS+18; IST+19]，都可以影响模型的特征先验，从而影响其在未见数据上的表现。

然而，虽然几个因素可以对模型的特征先验有所贡献，但最近的一系列工作表明，训练数据集的组成可以发挥主要作用[Fel19; CLK+19; KL17; GZ19; IPE+22]。例如，如果某个子群体在数据中被错误标记[NAM21; SC18; BHK+20; VCG+22]、代表性不足[SKH+20; STM21]或损坏[HD19; HBM+20]，模型可能在特定子群体上表现不佳。更广泛地说，训练数据集可能包含虚假的相关性，鼓励模型依赖于不适用于部署的预测规则[XEI+20; GJM+20; DJL21]。实际上，Ilyas等人[IPE+22]发现，监督模型对数据集的变化高度敏感：在他们的分析中，他们显示通过选择性移除训练数据集中少于250个（总共50,000个）例子，可以翻转超过一半的CIFAR-10模型预测。

因此，训练数据集在模型的最终行为中扮演着关键角色。然而，随着训练数据集变得越来越大[VSH+22]和复杂，它们对于从业者来说也变得更加不透明。识别数据集中全局偏差的常见方法通常需要手动探索，对于这种规模的数据集来说，工作量过于庞大[TSE+20; VCG+22]。迁移学习（将预训练模型适用于不同的下游任务）的日益普及只是加剧了这一问题。预训练数据集通常是从互联网上抓取的大量集合[SBV+22]，在许多情况下是专有的[Ope23]（因此对用户完全隐藏）。

受到这些趋势的激励，本论文旨在为模型可靠性建立基于数据的视角的基础。具体来说，我们旨在揭示训练数据集的组成如何影响模型依赖的特征，从而影响其在未见数据上的性能。本论文通过两个主要推动力实现这一目标。

第一个推动力集中在开发可扩展地识别模型失败模式的技术。我们提出了一种基于数据的方法来缓解这些失败，通过识别（并移除）不成比例地驱动目标偏见的训练示例。第二个推动力仔细审视了迁移学习设置中预训练数据的角色。具体来说，我们调查了“偏见转移”的问题，其中来自预训练数据的偏见可能导致下游部署的可靠性失败。然后我们引入了一个框架，用于精确地指出预训练示例对下游预测的影响，使我们能够识别（并移除）预训练数据集中的有害点。

在本节的其余部分，我们总结了这些推动力中论文的关键发现。然后，我们退后一步讨论基于数据的视角如何促进可靠性优先模型的部署（和规制），以及这一领域中令人兴奋的未来方向。