【CMU博士论文】理解、正式表征和稳健处理现实世界的分布变迁

分布变迁仍然是成功和可靠部署机器学习（ML）系统的重大障碍。解决这些脆弱性的长期方案只能通过理解基准测试根本无法捕捉所有可能发生的变化而实现；同样重要的是，通过仔细实验AI系统，理解它们在实际分布变迁下的失败。本论文描述了我在构建可信赖和可靠的机器学习基础方面的工作。调查的工作大致分为三个主要类别：（i）设计正式的、实用的真实世界分布变迁结构表征；（ii）利用这种结构开发证明正确且高效的学习算法，能够稳健处理这种变迁；以及（iii）实验现代ML系统，理解现实世界重尾和分布变迁的实际影响，包括平均情况和最坏情况。

第一部分描述了可扩展地认证深度神经网络对对抗攻击的稳健性的工作。所提出的方法可用于认证对测试样本、训练数据或更一般地对任何影响模型最终预测的输入的攻击的稳健性。在第二部分中，我们关注变迁的潜变量模型，借鉴因果关系和其他结构化编码的概念。我们展示了这些模型如何通过环境/干预复杂性这一新视角，进行使用多种分布进行稳健深度学习的方法的正式分析。环境/干预复杂性是领域泛化和因果表示学习的核心统计测量，通过训练分布数量和多样性来量化误差和/或结构化可识别性条件。最后，在第三部分中，我们广泛探索了更好地理解和利用自然数据中的变化的方法，并展示了所得见解如何促进设计在现实世界中更加稳健和可靠的新方法。

预测算法通过其在未见测试数据上的表现来评估和重视。在经典的机器学习（ML）中，通常假设这些数据是相互独立地从与训练算法所用数据集相同的分布中抽取的（这被称为IID假设）。然而，在现实世界中，这种情况几乎从未满足。IID假设作为一种有价值的抽象，用于研究如何高效且可靠地从数据中学习。然而，统计学家早已明白这一假设是一种过度简化，现实世界的数据底层分布不断发生变迁：例如，时间上的变迁、异质子群体间的变迁、因过去行为而引发的变迁等。由于现实与理想化的IID数据假设之间的这种差异，在分布内提供强泛化保证的算法（如经验风险最小化[Vapnik, 1999]）在现实世界中会出乎意料地失败，通常伴随着高置信度且无事先警告。特别是，尽管现代深度神经网络在许多任务上实现了超人表现，但越来越多的证据表明，其令人难以置信的泛化能力主要限于测试数据与训练数据非常相似的情况下。这些模型似乎依赖于数据的统计信息表示——出于尚未完全理解的原因——远远超越了对训练数据的简单记忆，但这些表示通常不能使其泛化到新领域或新任务。即使是对于看似微不足道的人类变化，这种情况也依然存在（Beery et al., 2018; Geirhos et al., 2018）。因此，现代最先进的生成和判别深度网络在部署中是脆弱的，并且在出人意料的轻微分布变迁下容易出错（Su et al., 2019; Recht et al., 2019）。

在考虑如何解决这一弱点时，人们可能会想象使得上述深度学习取得实际成功的方法最终也能解决这个问题。过去十年ML研究惊人速度的主要推动力是“基准测试方法”：通过对代表性基准数据集的一系列任务进行一致的、逐步的改进来推进。尽管这一策略的成功是不可否认的，但显然它不足以实现真正稳健和可靠的ML未来。人工智能（AI）正在迅速部署到无数新的领域——并且只会变得更加普遍——但它尚不能被广泛依赖，而意外失败的潜在成本仍在增加。同时，在现实世界中引发这种失败的变迁例子比比皆是：例如，自动驾驶汽车遇到的简单景观和/或天气变化，或者用户调整其行为以增加他们首选结果的可能性（Hardt et al., 2016）。更糟糕的是，AI越来越多地被用于安全关键环境，这在面对有意的对手时呈现出严重的安全漏洞（Sharif et al., 2016）。这种脆弱性仍然是进一步可信赖部署ML系统的重大障碍。

解决这些脆弱性的长期方案只能通过理解基准测试根本无法捕捉所有可能发生的变化而实现。但是，显然对所有分布变迁的稳健性是不可行的。相反，我们必须首先设计精确、现实的真实世界分布变迁的数学定义：通过正式指定我们希望稳健应对的变迁的“威胁模型”，我们将能够朝着正式的稳健性保证可靠地前进。同时，ML理论和实践（特别是在深度学习中）之间经常存在不匹配，因此单单数学定义变迁是不够的。我们还需要仔细实验AI系统，以理解它们在实际中的失败模式——只有通过这样的实验，我们才能理解和调和现实世界数据与我们的数学理解之间的差异。反过来，这将推动新型、更可靠且可解释的ML方法的发展，对性能产生实际的下游益处。

本论文描述了通过结合这两种核心方法，为可信赖和可靠的机器学习奠定基础的进展。更具体地说，所调查的工作大致分为三大类：（i）设计正式的、实用的真实世界分布变迁结构表征，包括良性和对抗性的；（ii）利用这种结构开发证明正确且高效的学习算法，能够稳健处理这些变迁；以及（iii）实验现代ML系统，以理解分布变迁的实际影响，包括平均情况和最坏情况，以便未来的分析能够更好地捕捉我们期望AI在未来遇到的困难类型。

论文概述

**第一部分

本论文的第一部分描述了大规模认证深度神经网络对抗攻击稳健性的工作。第2章展示了如何将任何在高斯噪声下分类良好的分类器转变为对ℓ2范数下的对抗扰动具有认证稳健性的新分类器。我们证明了使用高斯噪声平滑在ℓ2范数下的紧密稳健性保证，获得了一个在ImageNet上在ℓ2范数小于0.5 (=127/255) 的对抗扰动下具有49%认证top-1准确率的分类器。在第3章中，我们展示了如何使用所提出的方法来认证对更一般的攻击的稳健性，例如对训练数据的对抗性修改，或更一般地说，任何影响模型最终预测的输入。

**第二部分

第二部分侧重于变迁的潜变量模型，灵感来自因果关系和其他提出的真实世界变化的结构化编码。我们展示了这些模型的重要性及其如何使使用多种分布进行稳健深度学习的方法的形式化分析成为可能。特别是，我们通过环境/干预复杂性这一新视角研究这些算法的行为——这是领域泛化和因果表示学习的核心统计测量，通过观察的环境数量来量化误差和/或潜在特征的可识别性。第4章在一个相当自然和一般的模型下，首次分析了为这些任务提出的各种目标下的分类。我们还在非线性领域中展示了这些方法的首个结果：除非测试数据与训练分布足够相似，否则这些方法可能会灾难性地失败。随后在第5章中，我们提供了改进的分析以及更强的下界。第6章考虑了在线领域泛化的设置，首次正式量化了领域“插值”和“外推”之间的计算复杂性差距。

**第三部分

论文的最后一部分广泛探索了更好地理解和利用自然数据中的变化的方法。首先，在第7章中，我们展示了预训练特征足以生成比以前认为的更稳健的预测器。第8章描述了这一发现如何使得使用未标记的测试数据以证明神经网络适时适应变迁，或给出（几乎）有证明的非空的测试误差界成为可能。接下来，第9章开发了一种稳健优化方法用于策略分类，使得双重稳健预测能够优雅地处理策略响应和用户成本函数中的不可避免的不确定性。最后，第10章展示了离群值对神经网络优化的显著影响——这一结果为理解自然数据的重尾如何影响网络行为提供了新的见解，并提出了神经网络优化中各种现象起源的更一致的图景。