美海军《人工智能辅助决策中的信任时间演变》（中文版）

人工智能（AI）将在决策领域接管一些传统上由人类承担的任务。反过来，人类决策者在与人工智能系统互动时，需要对人工智能的产出进行合理化，而人类可能难以对人工智能生成的信息形成信任。虽然各种定量和定性方法已经为人类对人工智能的信任及其与系统有效性之间的关系提供了一些见解，但对信任的更全面理解可能需要通过捕捉信任时间演变的生成理论来加强。因此，采用开放系统建模的新方法，用单一概率分布将信任表示为时间函数，可以改进人工智能系统中人类信任的建模。这项研究的结果应能改善机器行为，从而帮助引导人类更倾向于贝叶斯最优理性，这在紧张的决策场景中非常有用。

引言

了解人类在决策过程中如何信任人工智能（AI）的产出并非毫无道理。基于人工智能的承诺，军方等机构正在经历技术和组织方面的重大变革（Wrzosek，2022 年）。然而，几起涉及先进技术的著名事故表明，在高风险的决策过程中，当人工智能与人类反应机制相结合时，可能会产生有害的副作用。例如，在伊拉克发生的爱国者导弹自相残杀事件（Hawley & Mares, 2012; Horowitz et al., 2022）、美国海军文森号事件（Bisantz et al., 2000; Hestad, 2001; Marsh & Dibben, 2003）、在阿富汗发生的误杀平民事件（Denning & Arquilla, 2022）等悲剧性事故，都表明了错误理解来自复杂自动化系统信息的潜在后果。在上述案例中，来自自动化技术的信息被人类误解或曲解，从而导致了不理想的决策结果。此外，越来越多的人担心，人类正在被人工智能决策周期所驱动，而不是被支持人类决策过程的系统所驱动（Blair 等人，2021 年）。

人工智能在各种复杂环境中引入了更多能力，如指挥与控制（C2）。除了附加能力，人工智能还能主动改变决策空间并根据信息采取行动（Strich 等人，2021 年）。此外，预计人类将越来越多地在决策过程中使用人工智能的输出结果（Fuchs 等人，2023 年）。然而，人工智能基于其判断的信息输出在以往的文献中并没有得到很好的研究（Waardenburg et al. 此外，基于人工智能决策过程的信息输出也不同于传统的信息来源，原因在于信息的出处和这些技术不透明的基础（Gelles 等人，2018；Kaur 等人，2022；Zuboff，1989）。基于这些原因，研究人员必须了解将人工智能技术设计为助手如何潜在地、无意地干预人类决策过程，尤其是在关键和时间紧迫的情况下。

人类-AI决策中的信任

公认的信任定义是 "在具有不确定性和脆弱性的情况下，代理人将帮助实现个人目标的态度"（Lee & See, 2004, 第 51 页）。然而，在这一定义中，作者忽略了：(1) 操作员与自动化之间的互动；(2) 任务的独立性，因此无法推广到其他任务领域；(3) 实时测量；(4) 过程与状态的二分法（例如，任务过程中的快照）；以及 (5) 任务领域的动态特征。基于这些建设性的批评意见，信任定义随后得到扩展，被定义为一种时间认知过程，可根据系统组件（包括人、自主机器和系统内的其他技术组件）与系统作为主体的任务环境之间的相互作用进行校准（Demir 等人，2021 年；Huang 等人，2021 年；Tenhundfeld 等人，2022 年）。

在本研究中，我们认为，在人类-人工智能决策的背景下，当信息处理系统（即人工智能和人类）的互动产生不同的视角，从而导致理性预测偏差时，信任就是一种新出现的现象。因此，我们将决策定义为一种认知过程，它建立在感知、注意力和记忆的基础上，使选择合理化，并与代理的目标相一致（Gonzalez，2014 年）。因此，理性预测偏差是人类和人工智能这两个视角（潜在选择）之间不可忽略的预测差异。在这种情况下，这两个视角由于不兼容而无法同时在认知上得到体现；因此，决策者会在视角之间切换，从而体验到内部的不确定性，从而产生对他人视角的不信任。随后，决策者开始质疑是信任还是不信任环境中的其他人。这种信任概念是 Ashtiani 和 Azgomi（2016 年）将信任定义为 "减少复杂性的理性预测的功能性替代方案"（第 737 页）的衍生。例如，当人类在决策中选择人工智能的观点时，与理性预测过程相比，人类可能会做出最佳选择，尤其是在需要快速判断的决策情况下。因此，理性预测偏差成为认知中不确定性水平的代名词。

信任和决策过程涉及信任者、受托者和环境之间的不确定性。要界定不确定性与信任之间的关系，必须区分两种不同类型的不确定性：认识上的不确定性和本体上的不确定性。认识上的不确定性是指观察者对系统在特定时间的状态缺乏了解，这种不确定性可以通过获取更多信息或知识来解决（Busemeyer 等人，2020 年；Jiang 等人，2022 年）。另一方面，本体不确定性描述的是人的内部（即头脑）对特定反应的不确定性，例如在不同选项中做出决定，并且可能只能通过一些互动来解决（Busemeyer 等人，2020；Busemeyer & Bruza，2014；Kvam 等人，2021）。

基于不同的视角，认识型和本体型不确定性会表现出不同的行为。本体不确定性表现出振荡行为，最能体现不确定的认知状态。这种类型的不确定性捕捉到了不确定和不一致的视角在决策过程中如何相互影响（Canan 等人，2022 年）。另一方面，认识上的不确定性表现出单调行为，这是一种累积行为。

当前人工智能研究中信任的一个重要焦点集中在机器的可信度或性能上，而往往忽视了人类信任的认知方面。如果信任是一种紧急的、本体的和认知的现象，那么设计机器和设计它们各自的信息环境(Fell et al.， 2020)可以更好地解决人类如何与机器互动以进行有效决策。

量子决策理论

量子数学概率公理（QPT）的应用为决策科学研究开辟了新天地。事实上，应用 QPT 公理对人类认知行为进行建模的研究正日益兴起，并将其应用扩展到物理学以外的新领域（Aerts，2009 年；Agrawal & Sharda，2010 年；Bruza & Hoenkamp，2018 年；Busemeyer & Bruza，2014 年；Jiang & Liu，2022 年；Khrennikov，2020 年；Kvam 等人，2021 年；Trueblood & Busemeyer，2010 年）。QPT 为决策概念提供了一个可操作的本体，从而在数学上将量子理论可操作化。在一定程度上，量子力学的两个奇特动态与决策科学本体论相关。首先，测量/观测的概念与社会人类学有相似之处，承认观测会改变系统（Floridi，2013 年）。QPT公理适用于决策科学的第二个动态是，判断创造而非记录判断之前的存在（Busemeyer & Bruza, 2014）。这一动态利用了叠加原理，该原理用于表示量子物理学中的所有可能状态，但同样适用于决策科学。叠加原理表明，建模系统没有确定的状态。这与认知系统建模的经典方法大相径庭，后者要求在任何随机时间都有确定的系统状态，即使没有进行测量/观测。因此，严格按照经典概率论（CPT）和马尔可夫方法对人类在不确定性条件下的决策进行传统建模的结果并不理想。因此，利用 QPT 对人类和人工智能的联合决策进行建模，可以全面捕捉动态变化，为人类-人工智能决策建模提供更稳健的方法。

决策建模。人类决策是一种学习技能，可以通过改进来提高决策质量。提高决策质量的主要工作之一是建立人类认知系统模型并对其进行测试。通常，这些模型都是概率模型，并通过 CPT（Pothos 等人，2021 年）公理进行连贯测试。基于 CPT 的模型在捕捉认知现象方面的不足，引发了对使用 QPT 适用性的新探索（Busemeyer & Bruza, 2014）。随之而来的讨论引发了新的兴趣，促使决策科学研究人员开始质疑基于 QPT 的模型在多大程度上可以被视为 "理性 "模型（Trueblood & Busemeyer, 2010）。然而，在 CPT 和 QPT 之间做出决定是一个错误的二分法。更好的问题是，哪套公理或组合更适合捕捉某种情况的特异性（Trueblood & Busemeyer, 2010）？事实上，CPT 和 QPT 都各有利弊。

研究人员猜测，人类决策遵循的是一种更类似量子的理性，而机器决策则表现出更多的贝叶斯理性（Bruza & Hoenkamp，2018）。虽然 QPT 可以连贯地解释系统违规行为，如连接谬误（如琳达问题）、阿莱斯悖论和埃尔斯伯格悖论，但基于 QPT 的模型也有其自身的缺点，其中之一就是系统状态的持续振荡。因此，将 QPT 和 CPT 方法结合起来，不仅可以解决持续振荡问题，还能推动不同类型理性的建模。

应用基于 CPT 和 QPT 的模型所面临的挑战是，如何将这两种不同的方法结合起来，实现人类与人工智能之间的共同决策（Bruza & Hoenkamp, 2018）。这种协调将为决策提供一种结构合理性。幸运的是，决策科学领域的最新研究成果引入了量子开放系统建模，作为持续振荡问题的解决方案（Busemeyer 等人，2020 年；Martínez-Martínez & SánchezBurillo, 2016 年；Snow 等人，2022 年）。量子开放系统建模以单一概率分布作为时间函数，捕捉了 QPT 和 CPT 这两种动力学；这样一来，用一个连续方程和泛化来进行决策的动力学就变得可行了。量子开放系统建模。量子开放系统建模对决策者可能经历的本体和认识类型的不确定性进行描述和建模。利用量子开放系统建模所建立的模型具有全面性和通用性，因为主方程还可以捕捉不一致观点之间的非交换关系（即理性预测偏差），从而用一个单一方程将决策的耗散和适应动态纳入其中。例如，当两个或多个决策者（如人类和人工智能）的理性预测存在分歧/冲突时，使用量子开放系统建模可以捕捉决策环境的动态变化，从而对决策过程和环境进行工程设计。这一点非常重要，因为决策者会收到（来自人工智能或人类的）有关现象的信息。接收到信息后，决策者会将接收到的信息与信息源一起合理化。我们在两种情况下举例说明这一合理化过程。在第一种情况下，自我视角（Pself）和其他视角（Pother）是互补的，这意味着𝑃𝑠𝑒𝑙𝑓𝑃𝑜𝑡h𝑒𝑟 - 𝑃𝑜𝑡𝑒𝑟𝑃𝑠𝑒𝑙𝑓 = 0 或非常接近于零。在这种情况下，决策者（如人类和人工智能）的两个视角之间不存在冲突，两个视角不会相互影响或形成彼此的背景。在第二种情况下，自我视角和其他视角不相容，这意味着𝑃𝑠𝑒𝑙𝑓𝑃𝑜𝑡h𝑒𝑟 - 𝑃𝑜𝑡𝑒𝑟𝑃𝑠𝑒𝑙𝑓 ≠ 0，这可能可以忽略不计，也可能非常重要。这个不等式的值随两个视角不兼容的程度而变化。更重要的是，由于这种不相容性是决策者的内部因素，它代表了本体型不确定性。在某种程度上，对于观察者来说，这种不确定性可能并不明显，除非通过经验来激发。在这种情况下，决策者可以选择一种结果，而这种结果对于观察者（没有意识到不兼容性）来说可能是可能性最小的结果。然而，由于视角的不相容性，干扰效应可能会导致违反总概率，或其他观察到的系统违反 CPT 的情况；因此，对观察者来说最不可能发生的事件，对决策者来说可能是最有可能发生的事件。量子开放系统建模支持建立对这些影响敏感的模型，当适应环境时，这些影响就会消失。在本研究中，不确定性是通过本体型不确定性与信任相关联的。

假设前面讨论的情景中的另一个人被人工智能取代。那么，当𝑃𝑠𝑒𝑙𝑓𝑃𝐴𝐼 - 𝑃𝐴𝐼𝑃𝑠𝑒𝑙𝑓≠0时，就会出现本体型不确定性、与信任相关，因为不一致的视角会导致理性预测偏差--自我与人工智能意见相左。因此，人类（自我）可以向人工智能援引信任的概念。另一方面，如果 𝑃𝑠𝑒𝑙𝑓𝑃𝐴𝐼 - 𝑃𝐴𝐼𝑃𝑠𝑒𝑙𝑓 ≅ 0、自我与人工智能之间的冲突可以忽略不计，也不会出现理性预测偏差，因此人类（自我）不需要援引对人工智能的信任概念。

目前研究

背景

由于本体类型的不确定性是通过互动来解决的，如判断（如问题-决定），因此本实验设计的目的是研究在人工智能支持下的决策过程中，人们对人工智能建议的中间判断以及随后对信任的影响。以往的研究表明，由于对人工智能系统缺乏信任，人们很难实施人工智能解决方案，从而影响决策。然而，人工智能领域的信任研究将信任视为静态衡量标准的集合体，并没有将信任作为一个过程来捕捉，而信任是可以通过互动在时间上发生演变的。最近的研究表明，人类决策可以使用量子开放系统方程进行有效建模，该方程可以用单一概率分布作为时间函数来捕捉人类的反应行为（即信任）。这样一来，用一个连续方程和泛化来进行动态决策就变得可行了。为了说明这一点，我们提出了一个研究问题： "人工智能提供的决策建议的中间决策如何影响信任？" 基于以往在决策领域的研究，我们假设在人-人工智能系统交互中引入中间决策会影响用户在使用人工智能支持决策时的信任行为。

设计概述

我们的实验采用了 2 x 7 的平衡因子设计，以比较两种条件之间的差异。受试者在图像分析任务中总共接受了 21 次人工智能提供的建议筛选处理。提供给参与者的所有人工智能筛选图像都来自一个模拟人工智能系统。该设计将参与者随机分为两大组（条件）：选择条件组和非选择条件组。在选择条件下，参与者会被直接问及是否同意或不同意人工智能的建议；在第二种条件下，参与者只被问及是否认可人工智能的建议。随后，每组参与者还将被问及他们对人工智能建议的信任程度，即他们将来会将同样的任务委托给人工智能的可能性有多大。

方法论

参与者和力量分析

根据使用 G*Power3 进行的功率分析结果，这项拟议研究将从大约 150 名参与者中收集数据，使用 F 检验、大效应量和α值 0.05 检验两组平均值之间的差异。

步骤

判断任务包括两种情况：选择和不选择，如图 1 所示。在无选择条件下，参与者只需点击 "确认人工智能建议 "按钮即可接受人工智能提供的信息。在选择条件下，参与者首先要对人工智能建议做出二元判断（例如，同意或不同意人工智能建议）。在第二阶段，所有参与者都会被问及他们将来将同样的任务委托给人工智能的可能性有多大。将任务委托给人工智能意味着人工智能将对图像进行编目标记，以便将来进行更快的处理。因此，委托是信任的代名词，其衡量标准从 0 到 100。在第二阶段，参与者还需要花费不同的时间来说明他们将委托给人工智能的可能性有多大。时间间隔也是随机的（如 5 秒、10 秒、15 秒、20 秒、25 秒、30 秒、35 秒）。不允许参与者在规定时间内加快速度，但这也允许参与者在时间结束前更改答案。此外，通过改变对授权决定的信心时间也可以证明分类的时间消退效应。

本实验沿用了之前几项关于选择和随后捕捉相关变量的实验（Busemeyer 等人，2020 年；Kvam 等人，2021 年）。然而，之前的实验并未研究人工智能决策方面的判断力和信任度。据我们所知，本实验是第一个以这种方式研究信任的实验。操纵选择（判断/选择）和在时间上操纵受试者对人工智能委托决策的信任程度进行评分的时间长短，有可能会对之前有关人工智能决策信任的文献中的研究成果提出挑战。

图1. 实验设计

有效性的考虑

本研究并不试图根据人工智能的表现来了解用户的信任度。然而，作为人工智能可信度/可靠性的替代品，治疗到治疗的人工智能表现可能会影响参与者的信任感，进而影响用户信任度（即对委托的信心水平）。为了减少这种情况，我们首先告知参与者，建议将来自不同的人工智能，而不是单一的人工智能系统。这将有助于减少用户对单一人工智能性能的评价，而这种评价可能会被用作可信度的替代物。其次，我们有意在图像中加入至少一个模棱两可的元素，以避免用户做出明确的正确/错误判断。这样，用户就无法对人工智能的表现进行准确的心理评分。最后，在实验完成之前，我们不会就参与者的答案正确与否提供任何反馈。这是许多关于信任的实验中都没有的一个重要的真实水平，因为即时反馈并不总能代表真实世界的决策过程。

讨论

潜在的贡献

理论贡献。这项研究试图通过展示一种更加生态化的信任现象视角，为人类信任提供一种超越以往研究的新概念。生态学视角包括互动和时间两个部分，将为研究界提供新的思考，即如何将信任概念化为一种理性预测偏差导致的新兴现象。如果信任是一种本体现象，那么设计机器和规划它们各自所处的信息环境就能更好地解决人类如何与机器互动的问题。

方法论贡献。量子开放系统模型可以捕捉认识上和本体上的不确定性。将信任视为一种理性预测偏差，将信任与本体不确定性联系起来。之前的研究已经证明，通过互动可以减少本体不确定性（Kvam 等人，2021 年）。此外，量子开放系统建模的特点也为信任建模提供了一种新的方法，使信任成为一种动态交流中产生的新兴现象。因此，通过将本体类型的不确定性与信任联系起来，我们试图模拟系统互动如何影响信任决策。

实际贡献。本研究认为信任是一个时间过程，会对决策结果产生影响。鉴于之前的研究表明决策过程中平均偏好强度的时间振荡会影响后续结果（Kvam 等人，2021 年），在决策过程中的不同时间点对信任进行评估可能会产生新的见解。这一发现将为信任遵循更多量子开放系统行为模型提供证据，从而为人工智能系统信任研究领域开辟新天地。

局限性。本研究有一些局限性。我们使用了一个模拟人工智能系统来筛选和注释静态图像。然而，如今许多人工智能系统都可以实时运行，例如为实时视频馈送添加注释。有了实时视频提供的额外背景，参与者的行为可能会大不相同。因此，超越静态源材料的通用性可能会受到限制。其次，在线实验可能会缺乏真实感，因此在某些情况下会进一步限制可推广性。