无代码AI开发平台真香？AI研究员指责训练模型存在偏见

---

  新智元报道  

编辑：LRS

【新智元导读】无代码AI开发平台，一行代码都不用写就能训AI模型！但伦敦玛丽女王大学的AI研究员却警告到：这类平台可能会让训练后的模型产生偏见，而用户可能完全不知道。开发商对此番言论表示很有意见：用户数据的锅，我们不背！

随着人工智能技术的不断发展，AI在各大公司内部也开始掀起一场技术革命。

 

AI Journal的报告指出，各大公司的高管普遍认为AI能够让业务流程更加高效，并且有助于创建新的业务模式和产品，例如在普华永道，86%的上层决策者认为AI在公司内部已经算是主流技术了。

 

各个公司都需要数据科学的相关专家人才分析数据，但AI驱动的技术趋势来的太快，导致市场还没跟上这波节奏。

 

 

所以无代码的AI开发平台应运而生。

 

顾名思义，无代码AI开发，就是不用写代码也能开发AI应用程序。这类工具能够抽象出构建一个完善的AI系统所需要的各种复杂模块，然后通过可视化的方式，让非数据科学的专家也能够根据不同的市场需求开发出一个机器学习模型。

 

实际上不光是无代码AI开发，正常的应用程序开发趋势也是无代码开发，著名的IT咨询公司高德纳（Gartner）预测，到2024年，65%的AI应用开发都将采用无代码或低代码的开发方式。

 

但是将数据科学工作抽象出来实际上是有风险的，因为非专家并不清楚模型的底层运行逻辑，所以模型能做什么、不能做什么、存在哪些缺陷都容易在无代码开发的过程中被忽略掉。

 

无代码AI开发平台

比较有名的无代码人AI开发平台包括 DataRobot、谷歌 AutoML、Lobe（微软于 2018 年收购）和 Amazon SageMaker 等，这些工具为最终客户提供的模型类型各不相同，但有一点是相同的，那就是提供拖放式的仪表盘，允许用户上传或者导入数据来训练或者微调模型，并且能够自动对数据进行分类和归一化，平台也可以根据客户提供的数据和预测来自动找到一个最佳的模型来适配这些任务。

 

 

预处理数据、寻找模型等任务在传统意义上都需要由数据科学家进行指导才能完成的，但如果把这些模块抽象出来，然后通过各种方式自动寻找最佳方案，那就可以大大减轻公司对专业数据科学家的需求。

 

通过使用无代码 AI 平台，用户可以将数据电子表格上传到界面，从菜单中进行选择，然后启动模型创建（model creation）。

 

平台会根据上传的数据，训练不同的模型发现文本、音频、图像、视频中的模式（pattern），一个公司内部的常见的任务就是分析销售记录和营销数据，对未来的销售情况进行预测。

 

这么一看，无代码开发工具简直是太方便了！相比程序员在电脑面前头秃改bug，无代码开发在可访问性、可用性、速度、成本和可扩展性方面明显的优势。你需要的东西，数据专家已经帮你封包完成，剩下的就是根据具体的应用场景来训练模型进行预测。

 

但天下没有免费的午餐，所有的捷径在暗中都标注好了价格。

 

伦敦玛丽女王大学（Queen Mary University of London）的人工智能研究员 Mike Cook 指出，虽然大多数平台都在「暗示」客户应对其模型中的预测错误负责，但这些工具在宣传上可不是这么说的！

 

他们一直在强调自己有多么智能，可能会导致人们不再关注调试和审计模型的重要性。

 

 

「这类AI工具都有一个共同点，就像与人工智能热潮有关的所有事情一样，它们看起来和听起来都很严肃、官方和安全。因此，如果他们告诉你使用这种新模型，你的预测准确率可以提高20%，那么除非他们告诉你，否则你可能不会去问为什么模型性能提高了。这并不是说你更有可能创建有偏见的模型（biased models），而是说你可能根本没意识到模型存在这类问题，而这个问题在实际应用中可能很重要。」

 

这一现象就是所谓的自动化偏见（automation bias），人们倾向于信任自动化决策系统的预测结果。

 

2018年微软研究院的一项研究结果表明，如果机器学习模型的内部实现原理对于用户来说是过于透明的，那对于AI模型的「迷之自信」可能会适得其反。

 

 

2020年，密歇根大学和微软研究院又发表了一篇论文，表明即便是专家也倾向于过度信任可视化后的模型概述，即便这种图表可视化可能是毫无数学意义的。

 

 

其实想想也正常，谁不爱看论文里的图呢？如果你画了一个精美的图，那你的结果可信度也会直线上升。

 

图像的偏见问题在计算机视觉领域中尤其严重，CV模型在接收训练图像的过程中极易受到偏差的影响，即使背景的变化也会影响模型的准确性，甚至不同相机拍出来的照片对准确率也有影响。如果数据集类别不平衡的话，那偏见影响可能会更严重。

 

自然语言模型也已被证实存在偏见，如果训练语料来自Reddit的帖子内容，那训练后的模型对种族、民族、宗教和性别方面的偏见将更严重，例如黑人可能与负面情绪的相关性更大。

 

开发商怎么说？

虽然模型的偏见是事实存在的，但供应商对此的感觉和研究人员却大有不同。

 

无代码AI平台Akkio的联合创始人Jonathon Reilly表示，任何创建模型的人都应该懂得一个道理：输入的数据质量越好，模型的预测效果就越好。

 

虽然他承认无代码AI开发平台有责任让用户了解模型是如何做出决策的，但他认为数据的偏见问题则是用户的责任。

 

 

「消除模型预测中偏见的最好方式就是在输入数据中消除偏见，这样模型就不会从数据中学到不需要的数据模式了。消除数据偏见的最佳人选通常是主题专家（topic-matter expert），而非数据科学家。」

 

无代码计算机视觉初创公司Cogniac创始人Bill Kish同样认为，偏见是数据集问题而非工具问题。偏见通常反映了现有的人类观念问题，平台可以减轻偏见但没有责任完全消除数据中的偏见。

 

「计算机视觉系统中的偏见问题是由于人类管理的基本事实（ground truth）数据本身就存在偏见。Cogniac可以充当管理视觉数据资产的记录系统，可以辅助专家来找到数据中存在的偏见问题，并通过交互方案来解决。」

 

考虑到用户训练模型的数据通常都是自己提供的，Bill认为所以把锅完全甩给开发商，我们是不认的。

 

还有一个事实是模型偏见不仅仅来自训练数据集。

 

2019 MIT Tech Review中指出，一些公司采用的AI模型可能在一些应用场景（例如信用评估）上存在潜在的不公平、歧视问题，在数据准备或者模型选择阶段都可能引入这种偏差，从而影响预测准确率。

 

 

无代码平台的开发商目前已经开始着手解决模型偏见问题。

 

DataRobot 有一个谦逊度（Humility）设置，能够在模型性能好到「不可思议」的程度时，提醒用户是不是数据出了问题，及时采取纠正措施，例如指定一个预测范围，超出范围就给截断等。

 

但目前来说，这些去偏见（debiasing）的工具和技术能力仍然是十分有限的，如果不了解偏见产生的可能性和原因，模型中出现问题的可能性就会增加。

 

Reilly 认为，开发商的应该做的事就是提高用户认知、模型透明度和可访问性，同时推动一个明确的监管框架（regulatory frameworks）。使用AI模型的企业应该能够很容易地指出模型是如何通过AI开发平台的支持证据做出决策的，让用户对训练好的模型的道德和法律影响充满信心。

 

一个模型需要达到多好的程度在现实世界中才有应用的价值取决于「具体的任务」，所以不必盲目追求准确率而引入数据偏见。

参考资料：

https://shimo.im/docs/XKgDJGwVx6dHgvvQ