《人工智能辅助决策面临的三大挑战》最新33页

人工智能（AI）通过提供决策建议和与问题相关的信息来协助人类决策者，具有改善人类决策的潜力。然而，要充分发挥人类与人工智能协作的潜力，仍然面临着一些挑战。首先，必须了解支持互补性的条件，即人类在人工智能辅助下的表现超过无辅助的人类或单独的人工智能的情况。这项任务要求人类能够识别出应该利用人工智能的情况，并开发出能够学习补充人类决策者的新型人工智能系统。其次，需要准确评估人类对人工智能的心理模型，其中既包括对人工智能的期望，也包括依赖策略。第三，需要了解不同的人机交互设计选择所产生的影响，包括人工智能辅助的时机以及应该向人类决策者展示的模型信息量，以避免认知超载和无效的依赖策略。针对这三大挑战，将基于最新的经验和理论研究成果提出跨学科观点，并讨论新的研究方向。

表 1： 本文研究的人工智能辅助决策的现实世界实例及相关挑战

过去十年来，人工智能（AI）越来越多地被用于在各个领域协助人类。现在，简单的任务都可以通过 Siri 和 Alexa 等数字人工智能助手实现自动化。人们依靠高级驾驶辅助系统（ADAS）来改善驾驶体验。媒体平台上的推荐系统提供个性化播放列表，其中既有用户喜爱的内容，也有他们可能喜欢的新内容。将人工智能融入日常生活，有望节省人力，避免人类决策的盲点，并有可能挽救生命。然而，人类与人工智能的合作也面临着许多挑战。已部署的人工智能系统因传播系统性偏见（Raji & Buolamwini, 2019; Gebru, 2020）、对训练数据之外的示例概括能力差（Shen 等人，2021）以及以牺牲用户福祉为代价优化用户参与度等问题而受到公众监督。这些问题源于这些人工智能系统与人类用户的目标和价值观不一致（Christian，2020；Gabriel，2020）。要创建符合人类价值观和期望的人工智能，需要指定反映人类价值观的效用函数，而这仍然是一个挑战。就目前的形式而言，人工智能无法独立做出对人类来说准确、可接受和公平的决策。因此，在做出决策时，除了人工智能的计算之外，还必须考虑人类决策者（DM）的专业知识和反馈。

本文将重点关注与人工智能辅助决策相关的一系列挑战，即人工智能以预测和/或解释的形式向做出最终决策的人类决策者提供帮助。例如，人工智能系统已被开发用于协助专家进行临床诊断（Rajpurkar 等人，2020 年；Sayres 等人，2019 年）、金融（Bussmann 等人，2021 年）和司法（Grgic´-Hlacˇa 等人，2019 年）决策以及预测（Benjamin 等人，2023 年）。关于人工智能辅助决策的文献越来越多，涉及多个学科和研究领域，包括人机交互（HCI）、人工智能和机器学习以及心理学（Lai 等人，2021 年）。

没有对这些文献进行系统性的回顾，而是综合了已经出现的一些见解，并将重点完全放在人工智能辅助决策的性能相关方面。具体来说，研究了人工智能协助人类管理者完成独立任务时影响决策准确性的三大挑战。首先，讨论了开发能够补充人类管理者能力的人工智能的必要性。当熟练的人工智能助手融入决策过程时，人类必须充分了解人工智能的能力和制约因素。其次，强调人类对人工智能精确心智模型的重要性。只有当人知道如何利用这种支持来提高人类-人工智能团队的绩效时，人工智能辅助才能充分发挥其潜力。第三，讨论了在人类与人工智能协同工作的不同工作流程中开发有效的人机交互方法所面临的挑战。这涉及确定何时提供人工智能协助和提供哪些信息，以及考虑人工智能系统适应人类认知局限性的需要。认为，认知建模有助于了解有效使用人工智能信息所面临的障碍。表 1 结合现实世界中的例子讨论了这三个挑战，包括临床决策支持、信用评估和高级驾驶辅助系统，在这些系统中，人工智能辅助决策正逐渐成为常态。

针对每项挑战，都会深入探讨在经验和理论方面正在进行的跨学科研究。此外，还将提出有助于更有效地应对这些挑战的未来研究方向。

挑战 1：了解人类与人工智能互补性的决定因素

人类经常在两个或更多人的小组中讨论问题，并能取得比小组中任何一个人都高的成绩（Kameda 等人，2022 年）。此前对人类协作工作的研究表明，绩效的提高往往是由于小组成员之间的分工互补（Stasser & Abele, 2020）。将人工智能引入以前只有人类参与的工作流程，就是为了实现这一目标，即通过利用人类 DM 和人工智能的互补优势来提高决策的准确性。至少，我们希望人工智能辅助下的人类能比无人辅助下的人类表现得更好（或至少不会更差）。许多研究之所以能够达到这一基准，主要是因为这些研究涉及的情况是，人工智能向人类提供人工智能建议，而人工智能所表现出的准确性要高于仅靠人类的表现（Zhang 等人，2020 年；Vodrahalli 等人，2020 年）。在这种情况下，人类可以采用简单的启发式方法，即始终遵循人工智能的建议来提高性能。然而，这种情况提出了一个问题：在缺乏相关伦理和法律考虑的情况下，人类为什么要参与决策过程？当人工智能的辅助性能不仅超过了无辅助的人类性能，而且还超过了人工智能本身的性能时，就会出现一种更令人信服的情况。这种情况被称为互补性（Bansal、Wu 等人，2021 年；Steyvers 等人，2022 年），表明人类与人工智能的表现优于人类或人工智能单独的表现。尽管一些研究显示，在人类与人工智能的综合表现超过人工智能或人类单独表现的情况下，结果很有希望（Bansal、Wu 等人，2021 年；Tejeda 等人，2022 年），但其他研究表明，人类 DM 对这种表现没有贡献，而人工智能单独行动会带来更好的表现。

要了解人工智能辅助决策在什么条件下会产生互补性，区分可能无法实现互补性的两种不同原因是很有帮助的。首先，重要的是要了解人类 DM 和人工智能可以独立贡献哪些信息，以及这些信息能否（理论上）导致互补。例如，Steyvers 等人（2022 年）指出了分类领域互补性的一些一般条件。调查重点是成对的分类器：人类-人类、混合人类-人工智能和人工智能-人工智能（特别是两种不同的机器分类器）对。研究结果表明，人类-人工智能混合对（将人类预测与不同程度的人工智能精确预测相结合）的性能可以超过人类-人类或人工智能-人工智能对。只要人类和人工智能预测的准确性差距保持在一个特定的阈值以下，就能实现这种优异的性能。这个阈值取决于潜在的相关性，即人类和人工智能预测之间的独立程度。当人类和人工智能预测之间的相关性较低时，将高准确度人工智能的预测与准确度较低的人类的预测（或反之亦然）合并，仍然可以获得比一对人类或一对人工智能更优越的性能。同样，对人类群体决策的研究表明，当群体由认知不同的个体组成时，个体预测的统计组合可带来准确的群体绩效，从而产生不相关的预测。

在人工智能增强决策的情况下，最终预测不是通过统计手段得出的，而是人类 DM 内部认知过程的结果，人类 DM 必须将人工智能预测与自己的独立信息相结合。理想的情况是，在人工智能比较准确的问题上，人类依靠人工智能，而在人工智能不太准确的情况下，人类依靠自己的判断。为了确保适当的依赖，帮助人类正确识别人工智能能力互补的区域至关重要。这可以通过提供人工智能信心或解释来实现，以帮助人类更好地理解人工智能的决策。当互补性的本质易于人类识别时，人类就能做出适当的依赖决策（Q. Zhang 等人，2022 年）。然而，目前还不完全清楚人类管理者能否更普遍地利用互补性的潜力。因此，互补性可能会失败，因为尽管存在互补性的潜力，但由于次优的依赖决策，DM 无法实现互补性。

另一种情况是，互补性可能会失败，因为从统计学的角度来看，互补性的潜力从未存在过（例如，人类和人工智能之间的性能差异可能足够大，而且相关性过强），在这种情况下，即使人类 DM 做出了最佳的依赖决策，也不会产生互补性。确定互补性成功或失败的方法之一，是观察由人类 DM 做出最终决策的范例和将人类和人工智能的独立决策统计合并为最终决策的范例中的性能差异。然而，在人类 DM 做出最终决策的情况下，依靠外部统计汇总器来识别和利用人工智能的互补性并不是一个可行的解决方案。正如我们在 “挑战 2 ”中所讨论的，重要的是要让人类管理者有能力为其人工智能助手建立适当的心智模型，这样他们就可以利用人工智能的互补能力。人类是否有效利用了人工智能提供的信息？

• 提高人类与人工智能的互补性

必须开展更多的研究，以更好地了解促成人类-人工智能互补性的因素，并开发促进互补性的新方法。在人工智能研究方面，新开发的人工智能系统考虑到了人类是决策过程的一部分这一事实（Bansal、Nushi、Kamar、Horvitz 等人，2021 年；De 等人，2020 年；Wilder 等人，2021 年）。这些人工智能系统经过训练，可在人类利用人工智能促进决策时优化预期的联合表现。在心理学方面，有必要开展更多研究，以了解人工智能预测的独立程度如何影响人类决策。在人类团队中，团队成员之间一定程度的认知多样性对团队绩效有积极的促进作用，但研究人员假设，过度的认知多样性可能会对团队成员之间的交流产生负面影响，从而导致团队绩效不理想（Aggarwal 等人，2015 年）。同样，虽然人类和人工智能预测之间的独立性有助于互补，但与人类预测差异过大的人工智能预测可能不会被认为有用（Grgic´-Hlacˇa 等人，2022 年）。因此，有必要开展更多研究，以了解可能阻碍人类 DMs 有效利用人工智能预测的心理限制。

挑战 2：了解人类对人工智能的心理模型

有效使用人工智能辅助工具的一个重要决定因素是相关人工智能的人类心智模型，其中包含一个人对人工智能的信念集合，以及对与人工智能互动效果的预期。一般来说，心智模型是人类构建的对世界的简化表述，使他们能够整合新信息并进行预测，同时只需花费很少的脑力（Craik，1952 年；Smyth 等人，1994 年）。因此，人工智能的心智模型越准确，人工智能就越有可能被正确使用（Bansal 等人，2019 年）。同样，不完整和/或不正确的人工智能心智模型也可能导致人工智能的无效使用。这种不正确的心理模型可能会导致对人工智能不恰当的依赖或错误的信任。我们认为，深入了解人们对人工智能的心理模型有助于设计工作流程，帮助人类制定适当的依赖策略，从而提高团队绩效。

关于人们对人工智能的心智模型的研究表明，人们对人工智能有各种各样的概念。为了组织和理解这些实证结果，我们区分了在人们实际体验相关人工智能之前就已经形成的人工智能心智模型，这种心智模型主要是由先前的信念驱动的，以及这些模型与人类为其他人类建立的模型相比有何不同。我们还讨论了人们的人工智能心智模型是如何通过与人工智能的互动体验而形成的。

总体而言，这些实证结果表明，人们对人工智能的心智模型取决于他们对相关人工智能的熟悉程度，以及他们对其依赖决策结果的熟悉程度。如果人们对人工智能的表现比较熟悉，但对自己决定委托或依赖人工智能建议的后果并不熟悉，那么他们的心智模型可能是不完整的，可能不能准确地代表人工智能相对于自己的不同能力。也许他们对人工智能的心理评估在暴露于人工智能不可避免的错误之后（正确地）被降级了，但却没有正确地反映出这样一个事实，即他们自己在试图解决同样的问题时可能并没有表现得更好，事实上，他们在这种情况下可能表现得更差。然而，人们被告知其依赖决定的后果的研究结果表明，人们会建立更丰富的人工智能心智模型，从而在依赖自己的决定还是人工智能的决定方面具有灵活性。其他因素，如人工智能和当前决策任务的复杂性，也可能影响心智模型的忠实性。一些实验室任务侧重于相对简单的行为任务，可能不需要大量的学习来开发有效的依赖策略。然而，在复杂的工业系统或与较高自动化水平相关的军事应用中，DM 可能无法完全理解系统是如何工作的，因此可能会采用简单化的策略，如不加区分地依赖人工智能（Cummings，2017）。

• 改进心智模型评估

要了解人们对人工智能的心智模型，需要在几个方向上开展新的研究。首先，目前人们对人工智能信念的长期变化知之甚少（Glikson & Woolley, 2020）。必须进行纵向研究，以了解人们的心智模型随时间的变化。这些心智模型是否会随着时间的推移而变得更加准确？此外，认知建模等方法可用于推断人们心智模型的潜在内容，包括他们的决策策略和信念，而这些内容无法通过行为测量直接评估（如 Chong 等人，2022 年；Tejeda 等人，2022 年）。人类与人工智能交互的心智模型编码了人类自身能力与人工智能能力之间的感知差异，利用心理学研究中关于元认知的见解来理解人们如何估计自己的自信心（Koriat 和 Levy-Sadot，1999 年）以及自己相对于他人的表现（Moore 和 Cain，2007 年）可能会有所帮助。此外，个人与人工智能的合作有可能是由直接的学习方法引导的，如无模型强化学习，而不是由对人工智能助手能力的明确心智化引导的。还需要进一步的研究来确定，在整合人工智能的建议时，个体是形成了对人工智能的明确表征，还是依赖于基本的启发式方法。

挑战 3：开发与人工智能互动的有效方法

为人工智能建立准确的心智模型是人类与人工智能高效协作的关键。因此，开发工作流程和系统以帮助人类管理者为其人工智能队友构建准确的心理模型至关重要。具体来说，我们考虑了影响人类 DM 使用人工智能辅助的两种主要设计选择：选择何时提供人工智能辅助和选择提供哪些信息。此外，我们还讨论了自适应方法，这些方法可以调整人工智能的输出和人与人工智能的交互，从而将人类认知的局限性考虑在内。

• 实现自适应和交互式人工智能辅助

总体而言，经验证据表明，提供更多有关人工智能的信息并不总能提高性能。鉴于处理人工智能建议的认知资源可能有限，特别是在时间敏感（时间不足）的情况下，人工智能必须调整其输出（例如，通过提供适当详细程度的解释）。过多的信息可能不利于决策（Poursabzi-Sangdeh 等人，2021 年；Schaffer 等人，2019 年）。因此，人工智能系统的设计必须适应人类 DM 的认知局限性（Cummings，2017 年）。应该向人类 DM 提供哪些信息、何时提供以及提供多少信息，这些问题突出表明，有必要制定理论框架，以推断人工智能辅助工具对人类认知和所观察到的表现的影响。在可解释人工智能（Chen 等人，2022 年）的背景下，这样的框架已经开始出现。此外，在与人工智能合作时，可以利用心理学理论和计算模型来更好地理解人类认知（Rastogi 等人，2022 年）。例如，在必须快速做出决策或需要不同程度的脑力劳动来处理人工智能输出结果的情况下，可以利用合理资源分配理论（Lewis 等人，2014 年；Gershman 等人，2015 年；Lieder 等人，2018 年；Lieder & Griffiths，2020 年）来识别人们何时会无视人工智能的预测，如果所感知到的收益不能证明相关的时间和脑力成本是值得的。

心理学和行为经济学的研究长期以来一直主张通过干预或 “暗示 ”来引导人们做出决策（Thaler & Sunstein, 2018）。推导计算理论的进步（Callaway 等人，2022a；Callaway 等人，2022b）使人们能够识别最佳决策策略和有效反馈，以指导决策。Callaway 等人（2022a）证明，人工智能助手在获得有关人们决策过程的反馈时，可以成功地促使人们采用最佳决策策略。与此类似，最佳游戏化可以重新设计环境的奖励结构，使人们的长期目标与短期奖励相一致。这种方法有助于人们克服近视决策倾向，在面对连续任务时表现得更有远见（Consul 等人，2022 年；Lieder 等人，2019 年）。人工智能辅助推导是一种强大的自适应人工智能辅助范例，它可以根据人们的能力量身定制，并能减轻长期优化的认知负荷。

最后，另一个有前途的研究方向是让人工智能输出更具互动性。Lakkaraju 等人（2022 年）认为交互式人工智能系统非常重要，而不是以一次性输出的形式提供解释。在这些系统中，人类管理者可以使用自然语言对话来询问模型做出决定的原因，从而通过一系列互动来澄清人工智能预测。此外，交互式人工智能助手已被证明能提高用户的接受度和信任度。例如，病理学家报告说，当他们能够在基于内容的图像检索（CBIR）系统中自定义搜索时，诊断效用提高了，信任度也提高了（Cai 等人，2019 年）。允许与人工智能助手进行交流和互动可以提高人们对系统的理解。