算法偏见就怪数据集？MIT纠偏算法自动识别「弱势群体」

2019 年 1 月 29 日 极市平台

加入极市专业CV交流群，与6000+来自腾讯，华为，百度，北大，清华，中科院等名企名校视觉开发者互动交流！更有机会与李开复老师等大牛群内互动！

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。点击文末“阅读原文”立刻申请入群~

来源：机器之心

原文：

https://www.toutiao.com/i6651496874563863052

长久以来，我们都将注意力放在了算法性能上，而对于算法偏见，我们并没有很完善的研究。通常直观的想法就是修正数据集，以构建类别平衡的训练集，但是这又额外地引入了工作量。在 MIT 的 AAAI 2019 新研究中，作者借助 VAE 学习训练数据的潜在结构，并以学到的潜在分布给数据点加权从而解决算法偏见问题。

算法中的偏见可能比你想象得还要普遍。发表于 2012 年的《Face Recognition Performance: Role of Demographic Information》一文表明，Cognitec 的人脸识别系统对非裔美国人的识别准确率比白人低 5 到 10 个百分点，《An other-race effect for face recognition algorithms》一文发现，中国、日本和韩国开发的模型不太容易区分白种人和东亚人。最近的一份研究表明，谷歌和亚马逊的语音助手在理解非美国口音方面的准确率要低 30%。《Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings》一文发现，Google News 文章中的词嵌入存在对于男性和女性的刻板印象。

这是一个问题。但幸运的是，MIT 的研究者已经探索出了解决之道。

在论文《Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure》中，MIT CSAIL 的科学家们展示了一种可以通过重新采样来自动消除数据偏见的 AI 系统。他们表示，在专门测试计算机视觉系统中偏见的数据集上，该系统显示出优异的性能，分类偏见也得以降低。该论文将在本周举办的 AAAI 大会上作为 Poster 论文进行展示。

「人脸识别通常被视为一个已经得到解决的问题，尽管很明显，人们使用的数据并未得到适当审查，」上述论文一作之一 Alexander Amini 说道。「矫正这些问题至关重要，因为这类算法已经用在了安全、执法及其他领域。」

这不是 MIT CSAIL 第一次解决该问题，在 2018 年的一篇论文里，David Sontag 教授及其同事描述了一种在不降低预测结果准确性的前提下减少 AI 偏见的方法。但本文提出的方法是一种新颖的、半监督的端到端深度学习算法，它同时学习所需任务和数据结构，如面部检测任务和训练数据的潜在结构。后者使其能够揭开训练数据中隐藏或隐含的偏见，并能够在训练期间自动去除这些偏见，而无需数据预处理或注释。

去除偏见的原理

研究人员所设计的人工智能系统核心是一个变分自编码器（VAE），这是一种常见的无监督神经网络，与 GAN 一样经常用于图像生成任务。与自编码器一样，变分自编码器主要包含编码器和解码器。其中编码器将原始输入映射到特征表示中，而解码器将特征表示作为输入，利用它们进行预测并生成输出。最后模型会对比编码器的输入与解码器输出之间的差别，并将它们作为损失函数而执行训练。

在本文所提出的 VAE 下，即去偏见 VAE（DB-VAE），编码器部分在给定数据点的情况下学习隐变量真实分布的近似值，而解码器则期望基于潜在空间重构输入数据。解码重构使得在训练期间能够以无监督的方式学习隐变量。

为了验证该去偏见算法在现实问题上具有「重要的社会影响」，研究人员在包含 40 万张图像的数据集上训练 DB-VAE 模型，分别将其中 80% 的图像作为训练集，20% 的图像作为验证集。然后他们在 PPB 测试数据集上评估该模型，该数据集包含 1270 张来自非洲和欧洲不同国家国会议员的图像。

结果很不错，据研究人员表示 DB-VAE 不仅学习面部特征（如肤色、头发），还学习诸如性别和年龄等其它特征。将在个体人口统计学（种族/性别）和整个 PPB 数据集上训练的去偏见模型与普通模型相比，去偏见模型的分类准确率明显增加，且针对种族和性别的分类偏见明显下降。该研究团队表示，这是朝着公平和无偏见 AI 系统发展的重要一步。

「公平系统的开发和部署对于防止意外的歧视以及确保这些算法被长期接纳至关重要。我们希望该算法能够促进现代人工智能系统算法的公平性。」合著者表示。

取得进步

过去十多年有很多失误都描述了 AI 潜在的偏见，但这并不意味着我们没有在更准确、偏见更少的系统方面取得进展。

去年 6 月份，微软与致力于人工智能公平性的专家通力合作，修正和扩展了用于训练 Face API 的数据集。Face API 是微软 Azure 中的一个 API，它提供预训练算法以检测、识别和分析人脸图像中的属性。新数据通过调整肤色、性别和年龄等所占的比例，能够将肤色较深的男性和女性之间的识别错误率降低 20 倍，单单女性的识别误差率就能降低 9 倍。

与此同时，一大类新兴的算法纠偏工具有望实现更加公正的人工智能。

去年 5 月，Facebook 发布了 Fairness Flow。如果一个算法因为人类的种族、性别、和年龄等因素做出不公平的判断，Fairness Flow 会自动预警以提醒开发者。初创公司 Pymetrics 同样开源了他们用于检测偏见的工具 Audit AI；Accenture 发布了一个工具包以自动检测 AI 算法中的偏见，并帮助数据科学家缓解这些偏见。此外在去年 9 月份，谷歌推出了新工具 What-If，这是 TensorBoard 中用于检测偏见的工具，也表明机器学习框架 TensorFlow 开始关注这种算法的偏见。

论文：Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure

论文链接：http://www.aies-conference.com/wp-content/papers/main/AIES-19_paper_220.pdf

摘要：最近的研究揭示了基于现代机器学习的系统容易产生偏见，尤其是对于训练数据中缺乏代表性的社会群体。在本文中，我们开发了一种新的、可调的算法来减少训练数据中隐藏的潜在偏见。我们的算法将原始的学习任务和变分自编码器相融合，以学习训练数据中的潜在结构，然后在训练时自适应地使用学到的潜在分布给特定数据点的重要性重新加权。虽然我们的方法可以泛化到不同的数据模式和学习任务上，但在本研究中我们主要用该算法来解决面部检测系统中的种族和性别偏见问题。我们在 Pilot Parliaments Benchmark（PPB）数据集上评估了该算法，这是一个专为评估计算机视觉系统中的偏见而设计的数据集。评估结果表明，我们的去偏见方法提高了整体性能，降低了分类偏见。

*延伸阅读