【ICLR 2022 paper解读】将公平性注入机器学习模型，降低模型偏差，即使用于训练模型的数据集是不平衡的

来源| 麻省理工学院新闻办公室 编辑| 专知翻译整理

将公平性注入机器学习模型
一项新技术提高了模型降低偏差的能力，即使用于训练模型的数据集是不平衡的

如果使用不平衡的数据集训练机器学习模型，例如数据集中大量是浅色皮肤人的图像，而深色皮肤人的图像很少，则该模型的预测在现实世界中部署时存在严重风险。
但这只是问题的一部分。麻省理工学院的研究人员发现，在图像识别任务中，流行的机器学习模型在对不平衡数据进行训练时实际上会存在编码偏差。即使使用最先进的公平性提升技术，甚至在使用平衡数据集重新训练模型时，模型中的这种偏差也无法在以后修复。
因此，研究人员想出了一种技术，将公平性直接引入模型的内部。这使得模型即使在不公平的数据上训练也能产生公平的输出，这一点尤其重要，因为用于机器学习的平衡良好的数据集非常少。 他们开发的解决方案不仅可以使模型做出更平衡的预测，还可以提高它们在面部识别和动物物种分类等下游任务中的表现。 “在机器学习中，将数据归咎于模型偏差是很常见的。但我们并不总是有平衡的数据。因此，我们需要找到真正解决数据不平衡问题的方法，”主要作者、麻省理工学院计算机科学与人工智能实验室 (CSAIL) 健康 ML 小组的研究生 Natalie Dullerud 说。 Dullerud 的合著者包括健康 ML 小组的研究生 Kimia Hamidieh；Karsten Roth，前访问研究员，现为图宾根大学研究生；Nicolas Papernot，多伦多大学电气工程与计算机科学系助理教授；和高级作者 Marzyeh Ghassemi，助理教授兼健康 ML 小组负责人。 ​

【定义公平】

研究人员研究的机器学习技术被称为深度度量学习，它是表示学习的一种广泛形式。在深度度量学习中，神经网络通过将相似的照片映射在一起并且将不同的照片映射得很远来学习对象之间的相似性。在训练期间，该神经网络将图像映射到“嵌入空间”中，其中照片之间的相似性度量对应于它们之间的距离。

例如，如果使用深度度量学习模型对鸟类进行分类，它会将金雀的照片映射到嵌入空间的一部分中，并将红雀的照片映射到嵌入空间的另一部分中。一旦经过训练，该模型就可以有效地测量它以前从未见过的新图像的相似性。它会学习将看不见的鸟类的图像聚集在一起，但距离嵌入空间内的红雀或金雀更远。

Dullerud 说，模型学习的相似性指标非常稳健，这就是为什么深度指标学习经常被用于面部识别的原因。但她和她的同事想知道如何确定相似性指标是否有偏差。

“我们知道数据反映了社会进程的偏见。这意味着我们必须将重点转移到设计更适合现实的方法上，”Ghassemi 说。

研究人员定义了相似性度量可能不公平的两种方式。以面部识别为例，如果与那些图像是肤色较浅的人相比，如果将肤色较深的人更靠近彼此嵌入，即使他们不是同一个人，该指标将是不公平的。蒙皮的脸。其次，如果它学习到的用于衡量相似性的特征对多数群体来说比少数群体更好，那将是不公平的。

研究人员对具有不公平相似性指标的模型进行了许多实验，但无法克服模型在其嵌入空间中学到的偏差。

“这很可怕，因为公司发布这些嵌入模型然后人们对它们进行微调以完成一些下游分类任务是一种非常普遍的做法。但无论你在下游做什么，你根本无法解决嵌入空间中引发的公平问题，”Dullerud 说。

她说，即使用户在下游任务的平衡数据集上重新训练模型，这是解决公平问题的最佳情况，仍然存在至少 20% 的性能差距。

解决这个问题的唯一方法是确保嵌入空间一开始是公平的。

【学习单独的指标】

研究人员的解决方案称为部分属性去相关 (PARADE)，包括训练模型以学习敏感属性（如肤色）的单独相似性度量，然后将肤色相似性度量与目标相似性度量去相关。如果模型正在学习不同人脸的相似度度量，它将学习使用肤色以外的特征来映射靠近在一起的相似面孔和相距很远的不同面孔。 通过这种方式，任何数量的敏感属性都可以与目标相似度度量去相关。并且由于敏感属性的相似性度量是在单独的嵌入空间中学习的，因此在训练后将其丢弃，因此模型中仅保留了目标相似性度量。 他们的方法适用于许多情况，因为用户可以控制相似性度量之间的去相关量。例如，如果模型将通过乳房 X 光照片诊断乳腺癌，临床医生可能希望在最终嵌入空间中保留一些有关生物性别的信息，因为女性患乳腺癌的可能性比男性高得多，Dullerud 解释说。 他们在面部识别和鸟类分类这两项任务上测试了他们的方法，发现无论他们使用什么数据集，它都能减少嵌入空间和下游任务中由偏差引起的性能差距。 未来Dullerud 有兴趣研究如何强制深度度量学习模型首先学习好的特征。 “您如何正确审核公平性？这是一个悬而未决的问题。你怎么知道一个模型是公平的，或者它只在某些情况下是公平的，那些情况是什么？这些是我真正感兴趣的问题，”她说。

【研究成果在国际顶会（ICLR 2022）上发表】

标题： Is Fairness Only Metric Deep? Evaluating and Addressing Subgroup Gaps in Deep Metric Learning

作者：
Natalie Dullerud, Karsten Roth, Kimia Hamidieh, Nicolas Papernot, Marzyeh Ghassemi

总结：
我们为深度度量学习的公平性提供了一个基准;研究学习表征对下游分类的公平性影响，并为深度度量学习方法中减少子群差距提供了一种新的方法。
摘要 深度度量学习(DML)通过强调表示的相似结构，可以在较少的监督下进行学习。在诸如零镜头检索等设置中，已经有很多工作在提高DML的泛化，但对其公平性的影响知之甚少。在这篇论文中，我们首次评估了在不平衡数据上训练的最先进的DML方法，并表明当用于下游任务时，这些表征对少数子群体的表现有负面影响。在本文中，我们首先通过分析表示空间的三个性质——类间对齐、类内对齐和均匀性，定义了DML中的公平性，并提出了非平衡DML基准中的公平性——finDML来描述表示公平性。利用finDML，我们发现DML表示中的偏差传播到常见的下游分类任务。令人惊讶的是，即使下游任务中的训练数据被重新平衡，这种偏差也会传播。为了解决这个问题，我们提出了部分属性去相关(Partial Attribute De-correlation, PARADE)来将敏感属性的特征表示去相关，并在嵌入空间和下游度量中减少子组之间的性能差距。

链接： https://openreview.net/pdf?id=js62_xuLDDv