机器学习模型如何可靠？191页最新《机器学习模型在户外的鲁棒性、评估和自适应》博士论文

**本文的目标是提高实际环境中部署的机器学习(ML)系统的可靠性。当测试样例与训练样例相似时，ML模型的表现非常好。然而，实际应用程序需要在任意分布的测试样本上执行。例如，在医疗健康应用程序中，ML可以遇到任何分布的患者或医院系统。当前的ML系统在分布变化的测试示例上可能会悄无声息地失败。为了提高协变量或域偏移导致的ML模型的可靠性，本文提出算法，使模型能够: (a)泛化到更大的测试分布族，(b)评估分布偏移下的精度，(c)适应目标/测试分布。

本文研究了域偏移鲁棒性受损的原因，并提出了训练域鲁棒模型的算法。模型脆性的一个关键来源是域过拟合，新的训练算法抑制并鼓励域通用假设。虽然我们提高了对某些问题设置的标准训练方法的鲁棒性，但ML系统的性能仍然可以随着域的变化而发生巨大变化。对于开发人员和利益干系人来说，理解模型漏洞和输入的操作范围是至关重要的，这些可以在部署期间进行评估，尽管成本很高。本文主张在预先指定和可解释的域变化的任何组合上主动估计精度表面，以进行性能预测。本文提出一种标签有效的贝叶斯估计技术，以解决域偏移的组合空间上的估计问题。此外，当发现模型在目标域上的性能较差时，传统方法会使用目标域的资源来调整模型。标准的自适应方法假设访问足够的计算和标记目标域资源，这对于已部署的模型可能是不切实际的。本文启动了一项只使用未标记数据资源的轻量级自适应技术的研究，重点是语言应用。所提出方法从选定的未标记数据部分中注入上下文，以获得更好的表示，而无需进行广泛的参数调整。

1. 引言

在过去的几十年里，机器学习模型在各种认知任务上提供了显著的改进，令人惊讶的是，有时甚至击败了人类。机器学习(ML)现在被誉为“新电力”，因为它正在大量的现实世界中被部署。ML的创新为鼓舞人心的应用提供了动力，如糖尿病视网膜病变导致失明的早期诊断、预测蛋白质折叠、发现新行星和探测引力波。此外，ML在改善医疗保健、个性化教育和自动化方面有巨大的潜力。ML的成功主要归功于在大型数据集上进行端到端训练的统计学习方法。尽管在标准基准测试和排行榜上取得了进展，但ML系统在部署时往往表现不佳。众所周知，它们很脆弱，在不熟悉的输入上可能会以莫名其妙的方式失败[Szegedy et al., 2013, Qiu and Yuille, 2016, Zech et al., 2018, Gururangan et al., 2018, Beery et al., 2018, David et al., 2020, Bandi et al., 2018a]。标准的训练和测试算法假设训练和测试示例是从相同的底层分布中采样的。然而，这种假设在野外经常被违背。因此，ML模型的真实性能可能会比同分布测试分割的预期差得多[Plank, 2016, Geirhos等人，2020]。由于训练-测试分布不匹配而导致的不良性能被称为数据转移问题。

一些研究说明了ML在实践中的数据迁移挑战。**Qiu和Yuille[2016]发现，Faster-RCNN [Ren et al.， 2015]在视点简单变化的情况下，物体识别的平均准确率变化很大，如图1.1所示。Awasthi等人[2021]发现，最先进的自动语音识别(ASR)系统的单词错误率(WER)因口音类型而异(美国英语的错误率为4%，印度英语口音的错误率为11%至55%)。这些失败可以归因于训练数据对某些角度或口音类型的偏差。

这种普遍缺乏通用性正在成为ML应用程序中的一个主要问题，特别是在嵌入式ML部署中，错误会被忽视。本文的主要动机是:我们如何提高实际部署的机器学习模型的可靠性?

部署在实际环境中的ML系统可能会遇到任何输入。它们在输入空间的一个小子集上进行训练，该子集在未见过的输入上具有未知的行为。训练和评估在任何环境下工作的机器学习模型构成了可靠性的挑战[Varshney, 2022]。本文将通过解决以下子问题来解决域迁移带来的可靠性挑战。

• 域鲁棒性训练:用于训练域鲁棒模型的算法。
• ML应用场景的评估方法:适用于任何领域性能查询的技术。
• 无标签自适应:使用用户提供的无标签资源自适应模型的算法。