信任机器智能：军事行动中的人工智能与人机协作

人工智能的不断进步使军事系统具有更高水平的自主性。随着机器智能作用的扩大，人类与自主系统之间的有效合作将成为未来军事行动中越来越重要的一个方面。成功的人机协作（HAT）需要对机器智能建立适当的信任度，而信任度会随着人机协作发生的环境而变化。有关信任和自动化的大量文献，以及关注军事系统自主性的最新研究成果，构成了本研究的基础。本研究考察了机器智能应用的三个一般类别中信任的各个方面。这些应用包括数据集成与分析、所有领域的自主系统以及决策支持应用。在每个类别中，与适当调整信任度有关的问题各不相同，信任度调整不当的后果和潜在的缓解措施也不尽相同。

导言

纵观历史，技术在武装冲突的演变中发挥了关键作用。技术加快了战术交战的节奏，拓宽了战场的地理范围，增加了指挥官与部队沟通的手段，也改变了国家计划和实施武装冲突的方式。在二十一世纪，一组统称为人工智能（AI）的技术似乎准备开创一个新时代，在这个时代，机器智能和自主性将为军事行动的规划和执行带来全新的概念和程序。大量数据的不断涌现激发了人们对信息的贪婪欲望，这就需要对信息进行快速、冷静的分析，而人工智能恰恰能够胜任这一角色。人工智能决策、改进的传感器和敏捷的机器人技术的融合，将使新系统能够独立完成 "观察-定向-决策-行动"（OODA）决策循环的所有阶段。大量自主系统涌入战场，基于算法的战争潜力将逐渐增强甚至取代人类在部分或全部步骤中的决策过程，其速度可能超过人类规划者的认知战能力。

目前，从通信设备、传感器到防空系统，算法为一系列军事系统做出了贡献。在许多方面，现代军事力量已经依赖于某些形式的人工智能。然而，机器智能的未来应用将带来一种新的能力--一种非人类的协作伙伴，能够在战场环境不断变化的背景下做出积极主动的 "决策"。这种能力的内在优势只有在人类能够自如地依赖人工智能的情况下才能实现--人工智能不仅是一种工具，而且是团队中的一员。因此，本文将重点讨论人机协作（HAT）的一个具体方面：建立对机器智能的适当信任度。已有大量学术文献关注自动化或机器人技术在商业应用中的信任问题，但专门针对军事应用的学术研究却不多。本文将特别探讨利用人工智能的自主系统是如何在不同的军事环境中使用的，以及这些不同的环境是如何影响信任度的。

本文的基本论点有三个方面。首先，为军事用途开发的人工智能技术分为三大类，贯穿战争的战术、战役和战略层面：用于数据整合与分析的算法解决方案、利用机器智能的自主系统以及辅助人类决策的支持软件。其次，认为人工智能在军事行动中的普及必然会导致人类与智能机器之间更多的互动。军事行动将越来越依赖于安全有效的人机协作，而这反过来又依赖于人类不断评估并给予智能机器适当程度的信任--即信任校准。与适当的信任校准有关的问题在这三个类别中各不相同，信任失调的影响也各不相同。第三，因此，确保与人工智能的最佳人机合作将取决于识别每个类别中的潜在信任问题，并设计适当的技术或理论调整来解决这些问题。在简要回顾人工智能和概述机器智能在战场上的可能应用之后，探讨了信任和信任校准的概念，然后分析了在三个类别中鼓励适当信任度的陷阱和可能性。

人工智能的进步

几十年来，人类一直醉心于为机器注入某种形式的人工智能的可能性。尼尔斯-尼尔森将人工智能定义为 "致力于使机器智能化的活动，而智能是指使实体在其环境中适当地、有预见性地发挥作用的品质"。在数字时代的初期，出现了两种广泛的人工智能方法。自上而下的专家系统方法使用复杂的预编程规则和逻辑推理来分析特定的数据集。对于具有可预测规则的明确环境（如分析实验室结果或下棋等应用），专家系统或 "符号 "人工智能（基于符号逻辑）的性能主要取决于处理速度和算法质量。另一大类则采用自下而上的机器学习方法，仿效人类通过检测数据中的模式进行学习的方式。神经网络是一种受人脑启发的机器学习方式，它能利用多层（因此是 "深层"）人工神经元识别复杂模式，这种技术是 "深度学习 "方法的基础。这种方法能够发现数据集中的关系，因此也被称为 "连接主义"。

自上而下、基于规则的符号系统与自下而上的机器学习联结主义技术之间存在很大差异，尤其是在应用的潜在范围和灵活性方面。深度学习方法的显著特点是能够将学习与训练所依据的数据集分离开来，因此该方法可应用于其他类似问题。基于规则的算法在狭义的任务中表现极为出色，而深度学习方法则能够迅速找到模式，并在专家系统计算方法效果较差的应用中“自学成才”。最近的一些人工智能进展表明，它们有能力模仿创造力，或产生新颖的解决问题的方法，而这些在人类看来可能是违反直觉的。例如，带有人工智能导航控制的高空气球发现了利用风型的最佳和意想不到的技术，或者利用人工智能开发出更有效的增材制造机器部件设计。

不过，一般来说，人工智能的范围仍然很窄，或者说 "很脆弱"，因为它们在特定的应用中运作良好，但在其他应用中仍然缺乏灵活性。与人类相比，由于机器的计算速度远远超过人脑，因此在对数据集应用逻辑规则时，机器智能要优越得多，但在尝试归纳推理时，机器智能必须对数据集或环境进行一般性观察，因此就显得力不从心。大多数机器学习仍然需要大量的训练数据，尽管包括自监督学习、生成模拟数据的技术（如使用生成式对抗网络（GAN））和 "少样本学习"（LO-shot learning）在内的新方法正在出现，这些方法需要非常小的数据集。图像识别算法很容易混淆，无法像人类那样立即或直观地解释环境背景。这种脆性还延伸到游戏等其他问题上。虽然人工智能在视频游戏中经常表现出超人的能力，但它们往往无法将这种专长转移到具有类似规则或游戏机制的新游戏中。

虽然人工智能技术在提高适应性方面不断取得重大进展，但接近人类的人工通用智能仍然遥不可及。这部分是由于我们对人类处理信息时所涉及的生物学和化学--也就是通常所说的人类认知--的掌握令人惊讶地有限。神经科学家仍不完全了解大脑是如何运作的，这限制了以生物过程为基础模拟数字过程的努力。因此，深度学习等人工智能技术与认知神经科学建立了共生互利的关系。人工智能技术的渐进式发展使评估人工智能的近期前景变得更加复杂。深度学习方法的成功在很大程度上助长了对人工智能的炒作，导致人们对该技术的未来抱有不切实际的期望，并将其巨大进步正常化。有人将此称为 "人工智能效应"。一份报告指出："人工智能将一项新技术带入大众，人们对这项技术习以为常，它不再被视为人工智能，而更新的技术出现了。" 一些人猜测，机器学习技术带来的进步可能会趋于平缓，而另一些人则保持乐观。一些人认为，将符号人工智能方法与各种形式的机器学习相结合的尝试很有潜力。因此，近期前景仍不明朗。相关的技术进步，包括短期的计算机芯片设计和长期的量子计算，也可能影响人工智能进一步发展的步伐。

军事行动中的人工智能

不过，对于许多军事应用来说，狭义的人工智能应用已经绰绰有余。全球各国军队已在使用的许多算法解决方案都可被视为 "人工智能"，而且不乏对人工智能用途的建议。人工智能可能带来的军事能力，是克里斯蒂安-布罗斯等分析家和罗伯特-沃克等前国防官员所设想的截然不同的未来作战环境的一部分。如果这些关于人工智能影响的预测成真，它们将对行动的规划和实施产生广泛影响。现有和不久将来的应用可分为三类：数据整合与分析、自主系统和决策支持软件。与大多数类型一样，这些类别的边缘并不完全清晰，有些应用跨越了多个标签。但值得注意的是，从数据分析到自主系统，再到最终的决策支持应用，在军事背景下利用人工智能的潜在后果--以及由此带来的信任度不高的风险--都在增加。此外，在军事力量结构中整合自主系统也会产生累积效应。信任人工智能来处理传感器数据是允许自主系统与人类人员并肩作战的必要步骤，而未来在战役层面由人工智能支持的决策将需要更多一层的信任，这种信任关系建立在将自主系统投入实战的军事单元之间的人类-自主团队合作所注入的信任关系之上。

数据整合与分析

在各种能力和平台的运行中使用人工智能，普通用户往往不会注意到，原因很简单，因为人工智能在系统架构中发挥着综合作用。这方面的例子包括民用卫星导航、互联网搜索引擎或在线翻译工具。军事应用包括利用机器学习算法优化电磁频谱使用的无线通信或雷达。对于无人驾驶或遥控飞机，机载算法允许传感器独立进行初步数据分析，从而减少带宽需求。算法已经在一系列系统和平台的传感器数据分析中发挥了作用。

除了这些综合应用外，有意识地积极使用人工智能进行数据分析还延伸到了情报、监视和侦察（ISR）工作中。正如詹姆斯-约翰逊（James Johnson）所指出的那样，机器学习算法 "可以显著改善现有的机器视觉和其他信号处理应用，从大量的信号和图像数据集中识别模式，并增强自主性和传感器融合应用"。美国空军于2017年成立了算法跨职能小组，将人工智能应用于图像分析，努力识别和跟踪目标，并建立生活模式以提高态势感知能力。在网络空间，模式识别算法同样可以确定网络的正常运行模式，从而更容易识别可能预示着入侵者存在的偏差。利用人工智能进行公开来源情报（OSINT）分析可以识别个人，甚至对叛乱活动做出粗略的近期预测。全球信息主导实验（GIDE）等实验性人工智能应用软件可从海量多源数据中筛选出模式和趋势，从而对一系列未来事件做出预测。

自主系统

人工智能的第二类应用包括范围广泛的自主系统。自主是一个仍然难以准确或简明定义的术语。联合空中力量能力中心（JAPCC）在2016年的一份报告中对自动化与完全自主系统进行了区分，前者涉及机器执行人类设定的可预测、有界限的预定任务。作者将自主系统描述为：能够决定自己的行动方针、不受预编程反应限制的深思熟虑的决策、具有学习和积累 "经验 "的能力，因此其行动不再是完全可预测的。保罗-沙雷（Paul Scharre）和迈克尔-霍洛维茨（Michael Horowitz）在 2015 年的一篇论文中描述了自主性的三个维度： (a) 人机指挥和控制关系，通过确定人类是 "参与"、"开启 "还是 "退出 "决策环路来简化；(b) 机器或系统的复杂性和能力；以及 (c) 自动化功能的类型。

在人工智能方面，值得注意的是，自动化系统与自主系统之间的区别变得模糊。机器智能与实现自主系统的许多自动化功能高度相关，包括系统操作和自我诊断、自动驾驶仪、作战软件和目标跟踪/识别以及自导武器。因此，"自主性 "描述的是一种独立机器功能的滑动尺度，其中包含一系列变量，包括人机交互的程度、独立感知和适应环境变化的能力、完成一系列预定目标的决策能力，以及不断学习和改进这些决策的能力。

不那么严格的自主定义可能包括当前的军事资产，如防空和导弹防御系统、反火箭或火炮系统、地面车辆主动防护系统、闲逛弹药、先进巡航导弹和赛博能力。虽然目前大多数作战领域都部署了自主系统，但下一代自主系统将利用人工智能实现更大程度的独立，不受人类指挥的影响。目前正在开发的空间、海上、空中和地面平台与系统，正如联合咨询理事会报告所概述的那样，代表着一种质的演变，从战术指挥官可利用的工具转变为人类必须与之互动和合作的伙伴。

自主飞机不久将执行后勤任务，如运输货物或加油任务。俗称 "忠诚僚机 "计划的新作战概念设想了与驾驶飞机并肩作战的大型无人平台，从而为传感器联网或增加弹药提供了更多选择，从而提高了战术灵活性。自主舰艇将为海上指挥官提供类似的海上作战能力，地面系统目前也在开发之中。新的制造工艺将降低生产成本，同时降低对可扩展人工智能软件的尺寸、重量和功率要求。这将有可能部署大量的小型无人系统，这些系统将以蜂群编队的形式进行控制和协调，并配备作战管理和目标瞄准软件，这些软件可以快速上传和更新，只需敲击几下键盘就能对系统进行有效的 "再训练"。因此，自主系统有望增加战场上平台的总体数量。

决策支持和以决策为中心的战争

军事指挥官在决策过程中已经依赖于机器智能，从算法推导的附带损害估计，到防空和导弹防御系统的目标定位解决方案，不一而足。对于一系列系统而言，计算机生成的数据分析增强了对态势的认识，并为作战人员提供了选择。未来的决策辅助工具可能会带来进一步的发展。与目前耗时的作战计划模式相比，史蒂文-戴维斯认为，"当面对许多仅仅是合适、可行或完整的方案时，人工智能可以引导决策者找到最佳解决方案"。大量使用人工智能决策软件的自主武器系统的引入可能会影响战争的作战层面，特别是军事行动的指挥与控制（C2）方面。

这个现在很常见的术语出现在 20 世纪 60 年代刚刚兴起的信息技术时代，用来区分指挥的权力和责任，以及为指挥官控制行动的实施和执行创造必要条件的过程。虽然上级指挥官和政治领导人观察特定战术交战已成为司空见惯的事，但如果部署了自主系统，作战层面可能最适合由人类 "参与"。即使有了自动同步的水面舰艇或航空系统舰队，仍需要以人为中心协调更广泛的作战行动。然而，在这种情况下，作战计划和协调可能需要人工智能的协助，以便保持有利和有效的战斗节奏。

这就是所谓 "以决策为中心 "的作战概念背后的动机。美国国防部高级研究计划局（DARPA）提出的 "马赛克战争"（Mosaic Warfare）概念，就是利用人工智能来协调分布式的部队网络。该概念提出了一种由人工指挥和机器控制的混合 C2 配置。指挥官根据人工智能对现有有人和无人部队的概述，从人工智能生成的行动方案（COA）中选择需要完成的任务。戴维斯概述的另一种方法是利用海上决策支持架构，中间层的人工智能基于保护、维持或火力等作战功能。鉴于基于机器的快速决策所具有的明显优势，整合人工智能和自主系统的概念是一种合乎逻辑的进步，尽管这种进步雄心勃勃。当互联的作战空间允许不同但相互关联的网络进行数据融合时，这一点尤其适用。大量的可用信息可能会导致对机器智能的依赖，原因很简单，因为需要机器认知来理解这些数据，并以有利的方式及时采取行动。

信任与机器智能

从传感器数据到武器系统再到作战决策支持，机器智能在军事行动各个领域的预期作用表明，人们对人工智能的依赖程度越来越高。例如，北大西洋公约组织（NATO）倡议下的一份专家组报告建议，该军事联盟 "应鼓励将人工智能纳入战略和行动规划。它应利用人工智能驱动技术的力量，加强情景规划演习和长期备战。美国海军最近发布的智能自主系统政策等官方声明和出版物强调，信任是依赖的重要组成部分，其中包括人类应如何以及何时信任机器等问题。随着机器智能越来越能胜任日益复杂的认知功能，并不断磨练其独立运作的能力，人类将需要把人工智能和自主系统视为合作伙伴，就像看待工具一样。与任何伙伴关系类似，信任是人机有效合作的关键。

定义信任

信任是许多概念中的一个，最初看起来很直观，但深入研究后会发现变得更加复杂。在过去的几十年里，信任出现了多种定义和概念，这并不奇怪。一篇颇具影响力的文章的作者在回顾了为信任下定义的各种尝试后得出结论："这些定义凸显了在信任是一种信念、态度、意图还是行为方面存在的一些重要的不一致之处。这些区别具有重要的理论意义"。梅耶等人（1995 年）提出的一个流行定义认为，信任是 "一方基于对另一方将采取对信任者很重要的特定行动的预期，愿意受另一方行动的影响，而不管是否有能力监督或控制该方"。信任的最新简化定义是 "在以不确定性和脆弱性为特征的情况下，认为智能体将帮助实现个人目标的态度"。脆弱性和风险的存在是信任的重要组成部分，因为它为错误的信任带来了潜在的代价。

虽然人机协作的基本要素与人际关系不同，但许多基本要素具有可比性。Keng Siau 和 Weiyu Wang 指出，信任是动态的，通常是通过双向互动逐步建立起来的，但也会受到最初印象的强烈影响。一些学者认为，信任的产生最初是通过对未来行为的可预测性，然后通过建立可依赖性的一贯行为反复确认，最后演变成一种类似于信仰的对可靠性的广泛判断。

对自动化的信任

影响自动化信任度的有三个类似因素。自动化过去和当前的表现，以及系统实际工作的信息，都与可预测性相似。有关自动化设计的细节，以及它是否能实现操作员设定的目标，可以揭示系统如何运行的相关有用信息，从而激发与可依赖性相同的动力。最后，自动化背后的目的或原理，以及自动化的使用是否符合设计者的意图，具有类似于信仰的抽象传递性（相信设计者的意图，因此相信自动化）。

在许多学者看来，在这一点上，人与人之间的关系和人类对机器的信任开始有所不同。人们通常会对陌生人持怀疑态度，并如上所述逐渐建立信任，而人类则通常会在最初基于信仰的基础上期望机器能完美工作。当出现错误时，这种最初的信任会迅速消失，但信任最终会被可预测性和可靠性这些更持久的品质所取代。凯文-霍夫（Kevin Hoff）和马苏达-巴希尔（Masooda Bashir）在 2015 年对有关信任和自动化的学术文章进行了全面调查，并建立了一个由三部分组成的信任模型，该模型以对机器的初始信任（处置性信任）为起点，并加入了背景（情景信任）和经验（习得性信任）。

他们认为，对自动化的倾向性信任是三者中最稳定的，受文化、年龄、性别和个性特征的影响最大。这些变量中的大多数都有明显的影响，但倾向性并不明显。文化（可定义为 "反映共同教育和生活经历的一系列社会规范和期望"）的作用是一个特别突出的因素。专业背景或技术培训是影响个人如何对待自动化的一种文化差异。对权力和权威的态度，甚至是对个人或集体利益平衡的看法，也会产生影响。一项针对冰岛、芬兰和瑞典客户对电子商务服务信任度的研究显示，在倾向性信任方面存在显著差异，芬兰客户的怀疑程度最高，而冰岛客户的信任程度最高。

除了性格信任的初始影响外，情境信任是该模型的第二个组成部分，在培养自动化信任方面发挥着重要作用。情境因素可能包括外部变量，如系统复杂性、影响自动化监控的操作员工作量、影响自动化风险和效益的环境因素或组织结构。被视为人类操作员 "内部 "的相关情景信任因素可能包括自信心、自动化领域的主题专业知识、操作员的专注能力（受压力、睡眠、无聊、内部动机的影响），甚至是积极的情绪--这与自动化的初始信任水平较高有关。

该模型的第三个也是最后一个组成部分是 "习得信任"，它包含与自动化信任相关的一系列变量。操作员通常对自动化已有一定的了解，无论是来自其他自动化系统的先前经验，还是基于相关自动化的声誉。甚至在操作员与系统互动之前，对自动化的期望和对其性能的二手了解就会影响信任度。最初的交互首先会受到自动化系统设计特点的影响：其外观、易用性、通信模式和透明度。与人机界面有关的设计选择，如显示屏布局或语音命令类型，在激发信任方面可发挥重要作用。一旦通过先前的经验或系统本身的设计特点建立了最初的信任度，操作员就会不断动态地衡量自己的信任度。这可能取决于可靠性、可预测性、系统实用性以及错误发生的时间和方式（包括如何提醒操作员）等因素。

信任校准和错位

人们一直致力于在人类与自动化系统之间建立信任，但过去的经验表明，过度信任也会带来问题。与自动化 "过度信任 "或滥用相关的最常见倾向包括自满情绪和自动化偏见。操作员在监督基本可靠的自动化系统时往往会产生自满情绪，从而降低对日常监控的警惕性，并认为系统运行正常--这一点不足为奇。与此相关的一个问题是自动化偏差，即人类操作员未能对自动化故障做出反应，或按照自动化建议做出错误决定。一项研究得出结论，使用计算机生成的除冰程序建议系统的飞行员，只要计算机提供的建议正确，其表现就会优于没有该辅助系统的飞行员，但如果建议不正确，其表现就会更差。在另一项研究中，随着自动化水平的提高，负责战斧巡航导弹飞行中重新瞄准的操作员似乎更容易接受自动化建议，这表明存在自动化偏差。

自动化偏差似乎是造成一些商用飞机灾难的原因，包括 2009 年法国航空 447 号航班的失事。资深记者威廉-兰格维什（William Langewiesche）在 2014 年根据从飞机飞行记录器中恢复的驾驶舱机组人员对话撰写的一篇关于空难的详细文章中，将自动化作为一个促成因素。Langewiesche 认为，飞行员已经习惯于依赖自动飞行辅助设备，而故障空速指示器的误导信息造成了不确定性，使他们无法理解飞机的实际情况。这导致了一连串错误的决定，以及屡次未能做出适当--回想起来相对简单--的调整，而这些调整本可以避免悲剧的发生。他简明扼要地总结道："自动化使得普通的航空公司飞行员越来越不可能在飞行中面临原始的危机--但同时也使得他们越来越不可能在危机出现时能够应对这种危机"。

开发人员通常不会专注于如何提高人类对自动化系统的信任度，而是努力激发与系统能力相关的校准信任度。信任校准简单地描述了这样一个过程：人类与机器自动化或机器智能的交互努力达到一种理想状态，在这种状态下，人类根据机器智能的优缺点对其给予适当的信任。以适当校准的信任度为目标，过度信任可以理解为超出系统能力的信任，而不信任则描述了与之相反的情况，即操作员对系统的信任程度低于其能力要求。实现适当的信任度调整听起来很简单，但往往会因人类的正常反应而变得复杂。如上所述，操作员在使用系统，尤其是机器智能系统时，通常对其性能有很高的期望。当错误发生时，人类操作员往往会过度修正自己的信任度，将期望值降低到低于系统能力的水平--从而直接从过度信任过渡到不信任。

自动系统与自主系统

过去几十年来，对人机协作的大部分研究都集中在自动化系统上。一个几乎没有明确答案的基本问题是，自动化系统与自主系统在多大程度上存在差异。前面提到的区别是僵化的、预先确定的和可预测的自动化任务与不受约束的、动态的和不可预测的自主性之间的区别。最近一篇关于人类自主团队的调查文章指出："两者之间的划分是一个程度问题，差异是一个移动的目标......在哪一点上，自动化可能更适合描述为自主，这是一个开放的问题"。

因此，在实践中，这种区分更多的是分级的，也许更好理解为一个连续体，一端是自动化功能，另一端是自主功能。即使是这种分级方法，其效用也是有限的。一旦我们对自主功能的性能和可靠性越来越满意，就会逐渐将其视为更类似于自动化的功能。为了进一步细化，自主系统甚至可能具有自动化功能。由人工智能支持的自主网络防御系统可以独立行动，以不可预测和无脚本的方式处理威胁，但网络防御系统本身可能被认为是自动化的。

希瑟-罗夫（Heather Roff）和戴维-丹克斯（David Danks）在一篇发人深省的文章中论述了自主武器系统中的信任问题，他们对类似的二元论态度提出质疑，将自主系统分为两种：一种是工具，"在这种情况下，行为的可靠性和可预测性足以'信任'系统"；另一种是 "具有价值观和偏好的道德主体，在这种情况下，'信任'的门槛将大大提高"。同样，托马斯-奥尼尔（Thomas O'Neill）等人提出了基于计算机的 "自主智能体"（autonomous agents）概念，即 "代表团队中独特角色的独特实体，否则这些角色就必须由人类来担任"。虽然罗夫和丹克斯对道德代理与工具的二元概念并不认同，但这种区分在概念化信任自动化与信任自主性之间的差异方面还是有一定价值的。自主智能体并不是简单地在特定情况下执行预先设定的行动，而是在更大程度上依赖于某种类似于判断的东西。对这种判断的信任，结合了与自动化系统性能有关的倾向性信任和情境信任，以及对过程和目的的更多关注，这就需要对智能体的价值观和偏好有更深入的了解。

战场上的人工智能与信任校准

只要人类操作员对所操作的系统有适当的信任度，机器智能提供新能力和提高现有能力的潜力就能成为军事行动的一个重要因素。正如霍夫和巴希尔所言，"就像在人际关系中一样，信任在决定人类是否愿意在不确定的情况下依赖自动化系统方面起着主导作用"。在联盟或联军行动中，如果一些成员国在人机协作方面已经建立了良好的校准关系，而另一些成员国则没有，那么就会出现互操作性问题。信任校准并不一定能传递给不同文化背景的人员。然而，即使在每个国家的军队内部，信任校准问题也可能因机器智能所执行的上述三类任务（数据整合与分析、自主武器系统和决策支持）而有所不同。

人工智能数据集成与分析的信任校准

对于许多军事应用而言，机器智能所扮演的角色已经完全融入系统架构，甚至可能无法察觉。这些应用包括自动语言翻译工具、由人工智能引导的通信设备频率选择、整合传感器数据为平台操作员创建战场整体视图，或由智能数字实体监控计算机网络以发现入侵迹象。对于这些类型的功能，人工智能正在做出 "选择 "并影响人类操作员对态势的理解，这反过来又会对认知和人类决策产生影响。这种机器智能的使用更符合自动化系统的定义。因此，信任校准问题更为人所熟知，研究也更为深入。

一个直接而明显的问题是，大多数操作人员可能会对这类系统给予高度的处置性信任或初始信任，甚至可能没有意识到人工智能对信息环境的塑造程度。军事应用中适当的信任校准可能涉及人机界面的设计特点，既能激发信任，又能提供足够的透明度，特别是在机器智能据以得出结论的数据的稳健性方面。一项研究建议，智能体应具备评估自身自信心的能力，包括自身知识库的不确定性、自身运行状态的不确定性以及推理过程的不确定性。当然，这也会受到与决策过程本身相同的弱点的影响，但可以对人类的自动化偏差倾向进行有益的纠正。

人类操作员依赖机器智能进行态势感知所面临的另一个挑战是时间性的。在未来的冲突中，可用于做出决策的时间可能会被严重压缩，从而促使对机器认知的依赖。当被迫迅速采取行动时，人类可能会选择不分析智能体的自信水平，或在做出时间紧迫的决策时严格评估人工智能生成的数据。在某些领域，其他传感器可能会提供有用的辅助验证来源，而人类在其他情况下可能会完全依赖机器智能提供的信息。网络领域的人工智能工具是数据分析和自主系统之间的复杂混合体，因为机器智能可以监控网络以防止潜在的入侵，并使进攻性网络武器能够分析和规避对手的智能防御。对这些工具进行独立验证以确保充分的态势感知可能具有挑战性，特别是考虑到作战时间的限制。

自主系统的信任校准

与物理世界中的自主系统--无论是地面 "packbot "系统、无人驾驶加油机、自主水面舰艇还是自主武器系统--的交互涉及与上述算法实体相同的问题，但也涉及人类自主团队合作的其他独特和具有挑战性的方面。这些系统更真实地体现了在团队中扮演特定角色的智能体，通常从人际交互（HAI）的角度进行讨论。因此，成功的人际团队合作的特征具有更大的相关性，包括强有力的沟通、有关意图和动机的共享心理模型，以及可预测和协作行动的能力。

在美国国防部自主研究试点计划的支持下进行的一项研究考察了一个军事单元与其自主 "packbot "小队成员之间的互动，发现显示机器人意图和逻辑的数据加强了信任的一些基本基础，如态势感知和理解。随着操作员对智能体的使用越来越熟练，经验越来越丰富，这种透明度可以增强学习信任。有许多透明模式是可能的，包括交流智能体的意图和目标结构，或其对任务的理解；侧重于智能体内部运作和算法的分析模型；交流智能体对外部环境的理解；或强调团队内部分工的团队合作模式。

透明度是加强人类-自主团队合作的一个潜在设计特征。与机器界面相关的工程细节可以在激发信任与鼓励过度信任之间取得适当平衡。自然语言处理和合成语音技术已经取得了长足进步，实现了人类与机器人之间的对话交流，提高了透明度和信任度。将人类特征赋予智能体是一种自然的心理现象，可以加强合作，但拟人化也可能产生负面影响，包括对爆炸物处理机器人产生不幸的情感依恋，或因类似人类的语言模式而鼓励对智能体的过度信任。

在人类与智能体的最初互动中，倾向性信任可能影响最大。例如，澳大利亚的一项研究认为，军人对自主武器系统持有根深蒂固的怀疑态度。然而，随着时间的推移，实现适当的信任校准可能主要取决于情景信任和学习信任。在高风险情况下，是依靠机器智能，还是将关键任务留给其他人，即使这一选择并不理想，人类的判断最终可能是高度个人化的。与人类团队合作一样，这种决定往往基于以往类似情况下的经验，这表明与智能体一起进行综合培训练习可以成为信任校准的重要组成部分。与自主系统一起进行培训被认为是鼓励信任人类自主团队合作的合理步骤，而且还能提供额外的人工智能培训数据。Roff 和 Danks 提醒说，训练的环境也可能会产生影响，并强调了基础训练等低风险环境与模拟战场环境的更高级演习之间的差异。此外，他们还建议在每个单元内创建一个自主智能体 "联络官"，与系统密切合作，了解其逻辑、动机和流程，从而利用信任的传递属性。这样，单元其余成员的信任校准可能会更容易通过联络官传达，不过这种方法也有其局限性。

作战决策支持系统的信任校准

上文讨论的与有效的人类自主团队合作有关的问题将对次战术和战术层面产生直接影响，但在战场上部署自主系统可能也会带来作战层面的调整。更多独立运行的自主平台--以及以机器速度进行的战术决策--将给人类认知带来挑战，并可能成为破坏对手决策循环的限制因素。考虑到对手可能在多个领域构成的威胁，以及充分、迅速地做出反应所需的信息量，一位美国军事领导人得出结论说，如果没有机器智能管理数据的帮助，"二十世纪的指挥官将无法在这种环境中生存"。机器智能在作战层面的应用很可能是累积性的，它融合了前两节讨论的信任带来的好处和风险，并增加了另一层复杂性。

在作战层面利用机器智能提供决策支持，与战术层面的数据分析有明显的相似之处，特别是容易出现自动化偏差，以及容易忽视人工智能有时微妙的决策效果。此外，潜在的自主武器或平台协调群（甚至可能是蜂群）的增加也给现有的 C2 程序（如联合瞄准）带来了新的挑战，这些程序本身可能需要在节奏更快、动态性更强的环境中实现自动化。对于作战规划人员来说，人机信任因素成为评估作战单元准备状态和效能的又一因素。以决策为中心的战争概念将人工智能直接纳入指挥与控制结构，可能是自主性最引人注目的应用。随着持续新闻报道和社交媒体的出现，人们对战术决策失误可能产生的战略影响的认识变得更加深刻。在军事领域，人类自主团队合作的一个重要部分是考虑自主智能体是否有能力在意识到冲突的战略和政治背景的情况下，以及在国际武装冲突法的法律框架内采取行动。随着人工智能辅助的信息流和对自主平台群的自主控制与自主代理在战术层面的行动后果相结合，这种考虑在作战层面变得大大放大。由于决策时间被压缩、确认偏差以及机器学习的临床成本效益奖励制度，机器智能和自主系统可能导致冲突升级，因此这一点尤其值得关注。

信任是一种发生在不确定性和风险情况下的现象。机器智能有可能通过减少处于危险中的人员和改进信息处理以增强态势感知来缓解作战计划和控制的这两个方面。正如最近一篇文章所指出的，用于算法战争的人工智能必须保持灵活性并降低作战复杂性，包括 "独立制定和裁定行动方案 "的能力。信任机器智能体作为 "环路中 "的道德代理人来规划和批准具体的作战行动，这涉及到让自主代理人适当评估战术决策的充分舒适度，而这本身就涉及到某种基于机器的 "信任"。正如戴维斯所言，在作战层面，基于人工智能的决策支持架构 "将充当一个受信任的智能体，浓缩指挥官负责的信息量"。现有研究表明，监督或管理自主智能体的操作人员应获得尽可能多的态势数据，特别是一些研究表明，随着自主智能体数量的增加，态势感知能力也会下降。对于作为 "环路 "上的人而管理智能体的指挥官来说，加强对态势的了解已被证明比简单地提供供操作员选择的选项更有效。

另一个可能出现的与信任和机器智能有关的问题是信任和战术优势的矛盾性。现有研究表明，在类似情况下可预测的行为会产生信任，但如果对手拥有类似的数据分析工具并能预测算法模式，这种可预测性就可能成为战场上的弱点。只需观察几次智能体的算法战术和行为，就可能预测到它们的行动，从而予以反击。当然，可以在智能体的行为中加入适应性，避免在空战中重复相同的动作，但这种缺乏可预测性的情况将使人类与自主体之间的信任更具挑战性，无论这种信任在战术意义上如何有利。此外，对手可能会干扰自己的训练数据或算法，这仍然是一个令人担忧的问题，也是人们持怀疑态度的正当理由。

这些战术和战役层面的问题会造成一系列战略困境。时间限制可能迫使人类操作员将决策过程的重要环节让给智能体，以获得对对手的优势。在美国陆军进行的虚拟实验中，人类倾向于对其无人机群进行微观管理，由于人类认知速度较慢，一直被人工智能控制的单元击败。这种态势很可能会鼓励操作人员为了权宜之计而放弃对智能体的可信度进行冷静评估。人类在决策中的认知能力逐渐降低，可能会对各级威慑和升级控制产生不可预测的战略影响，尤其是在涉及信任问题时。正如詹姆斯-约翰逊（James Johnson）所言，"人工智能对战略稳定的威胁所造成的不确定性，可能是对手夸大了对其有效性的信任，也可能是（也许更令人担忧的）错误地认为某种特定的人工智能能力在行动上是有效的，而实际上并非如此"。

结论

自主系统的军事应用显然将继续扩大，因为对决策者的激励似乎大于风险。机器智能代表了一套独特的技术，它超越了武器系统在射程、速度或精度方面的渐进式改进。这三类中的每一类智能体都有可能以不可预测的方式改变战场，这对正在寻找将人工智能技术融入现有和计划中的部队结构的最佳手段的军事领导人来说，既是危险也是机遇。鉴于战争仍然是以人为本的事业，人类自主团队的重要性可能会成为军事行动中越来越重要的一个方面。

关于人类与自主团队合作中的信任问题，基于研究的知识是广泛而全面的，但大部分实证数据自然主要与从自动化到自主化的滑动尺度中自动化程度较高的过程有关。考虑到机器智能在军事领域的预期功能，这项研究的大部分内容仍然具有很强的现实意义--尤其是与性格信任相关的文化差异方面或自动化偏差等常见现象。适当的信任校准所面临的挑战因应用的类型和类别而异，与用于 ISR 数据分析的集成机器学习软件相比，激发人类对物理自主系统的充分信任可能更具挑战性。归根结底，实现适当和校准的信任水平对于最大限度地发挥人工智能的潜力仍然至关重要。