帮助用户理解和信任机器学习模型的解释方法经常描述模型中使用的某些特征对其预测的贡献程度。例如，如果一个模型预测一个病人患有心脏病的风险，医生可能想知道病人的心率数据对预测的影响有多大。

但如果这些特征是如此复杂，以至于用户无法理解，那么解释方法有什么用呢？

麻省理工学院的研究人员正在努力提高特征的可解释性，以便决策者能够更自如地使用机器学习模型的输出。借鉴多年的实地工作，他们开发了一个分类法，以帮助开发人员精心设计功能，使其目标受众更容易理解。

"我们发现，在现实世界中，即使我们使用最先进的方法来解释机器学习模型，仍然有很多困惑来自于功能，而不是模型本身，"电子工程和计算机科学博士生、介绍该分类法的论文的主要作者Alexandra Zytek说。

为了建立该分类法，研究人员定义了使五类用户能够解释特征的属性，从人工智能专家到受机器学习模型预测影响的人。他们还为模型创建者如何将特征转化为更容易被普通人理解的格式提供了指导。

他们希望他们的工作能够激励模型创建者从开发过程的一开始就考虑使用可解释的特征，而不是在事后试图努力，关注可解释性。

该研究发表在美国计算机协会知识发现和数据挖掘特别兴趣小组6月版的Explorations Newsletter上。

真实世界的教训

特征是输入到机器学习模型中的变量；它们通常是从数据集中提取的。Veeramachaneni解释说，数据科学家通常为模型选择和手工制定特征，他们主要关注的是确保开发的特征能够提高模型的准确性，而不是决策者是否能够理解它们。

几年来，他和他的团队一直与决策者合作，以确定机器学习的可用性挑战。这些领域的专家，大部分都缺乏机器学习的知识，往往不相信模型，因为他们不了解影响预测的特征。

在一个项目中，他们与医院重症监护室的临床医生合作，使用机器学习来预测病人在心脏手术后面临的并发症风险。一些特征被呈现为聚合值，如病人的心率随时间变化的趋势。虽然这样编码的特征是 "模型准备好的"（模型可以处理数据），但临床医生并不了解它们是如何计算的。作者说，他们更希望看到这些聚集的特征与原始值的关系，这样他们就能识别出病人心率的异常情况。

相比之下，一组学习科学家更喜欢聚合的特征。与其拥有像 "一个学生在讨论区发的帖子的数量 "这样的特征，他们更愿意将相关的特征分组，并用他们理解的术语来标记，如 "参与"。

"对于可解释性，一个尺度并不适合所有。当你从一个地区到另一个地区，有不同的需求。Veeramachaneni说："可解释性本身有很多层次。

一个尺度不适合所有的想法是研究人员分类法的关键。他们定义了可以使特征对不同的决策者来说更容易或更难解释的属性，并概述了哪些属性可能对特定用户最重要。

例如，机器学习的开发者可能会专注于拥有与模型兼容和具有预测性的特征，这意味着它们有望提高模型的性能。

另一方面，没有机器学习经验的决策者可能会得到更好的服务，因为这些功能是人写的，也就是说，它们的描述方式对用户来说是自然的，而且是可以理解的，也就是说，它们指的是用户可以推理的现实世界的指标。

"对于分类法，如果你要做可解释的功能，它们可解释到什么级别？你可能不需要所有级别，这取决于你所工作的领域专家的类型，"Zytek说。

将可解释性放在首位

研究人员还概述了开发人员可以采用的特征工程技术，以使特征对特定的受众更具有可解释性。

特征工程是一个过程，在这个过程中，数据科学家将数据转换成机器学习模型可以处理的格式，使用的技术包括聚集数据或规范化数值。大多数模型也不能处理分类数据，除非它们被转换为数字代码。这些转换对于非专业人士来说往往是几乎不可能解开的。

Zytek说，创建可解释的特征可能涉及撤销一些编码。例如，一种常见的特征工程技术组织了数据的跨度，使它们都包含相同的年数。为了使这些特征更容易解释，人们可以用人类的术语来分组年龄范围，如婴儿、幼儿、儿童和青少年。作者补充说，与其使用平均脉搏率这样的转换特征，一个可解释的特征可能只是实际的脉搏率数据。

"在很多领域，可解释特征和模型准确性之间的权衡实际上是非常小的。Zytek说："例如，当我们与儿童福利筛查员一起工作时，我们只使用符合我们可解释性定义的特征来重新训练模型，而性能下降几乎可以忽略不计。

在这项工作的基础上，研究人员正在开发一个系统，使模型开发者能够以更有效的方式处理复杂的特征转换，为机器学习模型创建以人为本的解释。这个新系统还将把旨在解释模型就绪的数据集的算法转换成决策者可以理解的格式。

论文

通过为现实世界领域开发和解释机器学习（ML）应用的广泛经验，我们了解到ML模型的可解释性只取决于其特征。即使是简单的、高度可解释的模型类型，如回归模型，如果使用不可解释的特征，也可能难以理解或无法理解。不同的用户，尤其是那些使用ML模型在其领域内进行决策的用户，可能需要不同级别和类型的特征可解释性。此外，根据我们的经验，我们声称 "可解释的特征 "这一术语既不具体也不详细，不足以捕捉特征对ML解释的有用性的全部程度。在本文中，我们激励并讨论了三个关键的教训：1）应该更多地关注我们所说的可解释特征空间，或者对采取现实世界行动的领域专家有用的特征状态，2）需要对这些领域专家可能需要的特征属性进行正式的分类（我们在本文中提出了一个部分分类），3）将数据从模型就绪状态转化为可解释形式的转换与为模型准备特征的传统ML转换一样重要。

成为VIP会员查看完整内容