人工智能正在改变战争。英国防部如何准备应对未来的变化？
对于人工智能的军事用途所带来的接受挑战，传统的反应是坚持要求人类保持 "有意义的人类控制"，作为一种产生信心和信任的方式。考虑到人工智能和相关基础技术的普遍性和快速发展，这不再是一个适当的回应。人工智能将在整个军事行动范围内广泛的指挥和控制（C2）活动中发挥重要的、日益增长的作用。虽然在公众心目中，人工智能的威胁没有 "杀手机器人 "那么直接，但在军事决策中使用人工智能会带来关键的挑战，同时也有巨大的优势。加强人类对技术本身的监督并不能防止无意的（更不用说有意的）滥用。
本文以各级（作战操作员、指挥官、政治领导人和公众）的信任对有效采用人工智能进行军事决策至关重要这一前提为基础，探讨了关键的相关问题。对人工智能的信任究竟意味着什么？如何建立和维持它以支持军事决策？人类操作员和人工智能体之间的共生关系对未来的指挥需要作出哪些改变？
当人类对人工智能的行为持有某些期望，而不考虑人工智能体的意图或道德时，可以说存在对人工智能的信任。然而，与此同时，信任不仅仅是技术性能和可靠性的一个功能--它不能仅仅通过解决数据完整性和可解释性问题来保证，尽管它们很重要。军事人工智能中的信任建设还必须解决军事组织和指挥结构、文化和领导力方面的必要变化。实现总体上适当的信任水平需要一个整体的方法。除了信任人工智能的使用目的之外，军事指挥官和操作人员还需要充分信任--并且在如何信任--支撑任何特定人工智能模型的输入、过程和输出方面得到充分的培训和具有丰富经验。然而，最困难的，也可以说是最关键的层面是组织生态系统层面的信任。如果不改变军事决策的体制因素，未来人工智能在C2中的使用将仍然是次优的，被限制在一个模拟框架内。有效引进任何新技术，更不用说像人工智能这样的变革性技术，需要从根本上重新思考人类活动的组织方式。
优先考虑人和制度层面并不意味着对技术进行更多的控制；相反，它需要在不断发展的人机认知系统中重新思考人的作用和贡献。未来的指挥官将需要能够在一个真正的 "整体部队"中领导不同的团队，整合来自军事、政府和民事领域的贡献。他们必须对他们的人工队友有足够的了解，以便能够与他们合作并挑战他们。这更类似于海鸥的杂音，而不是个别 "翠鸟"领导人的天才。为了发展新的指挥和领导概念，英国防部必须重新思考其方法，不仅是培训和职业管理，还有决策结构和程序，包括未来总部的规模、位置和组成。
人工智能已经在改变战争，挑战人类长期的习惯。通过在训练和演习中接受更多的实验，以及探索C2的替代模式，国防部可以更好地准备迎接未来不可避免的变化。
前言
人工智能正在改变人类的思维和决策方式。未来，它将越来越多地影响人类如何确定各种认知过程的优先次序，调整他们的学习、行为和训练，并更广泛地改造他们的机构。这些变化在整个军队中仍不完全明显。尽管有新的技术和战争迅速发展的特点，今天的武装部队在组织结构上与后拿破仑时代欧洲的职业军队并没有很大的区别。太多的人仍然参与到军事任务中，而这些任务技术可以做得更好更快，并且对于重新思考人类对人机团队的认知贡献也没有给予足够的重视，而这正是解决未来指挥和控制（C2）问题所需要的。
本文以QinetiQ公司早先的一份报告为基础，该报告将信任视为军事能力的基本组成部分和2020年代军事适应性的基本要求。本文探讨了在军事决策中越来越多地使用人工智能的最新趋势和想法。本文并不直接关注这一趋势的伦理（或法律）问题，尽管这些问题很重要。相反，本文强调了信任作为人工智能时代军事指挥的一个因素的重要性和意义。
人工智能对军事决策和C2的潜在深远影响很少引起专家团体以外的关注。大多数公众关注的是技术的优势和风险，而不是人类认知和制度构建的潜力和限制。20多年前，著名的社会生物学家E-O-威尔逊抓住了人类当前的挑战。威尔逊说，真正的问题是，"我们有旧石器时代的情感；中世纪的制度；和神一样的技术。"在过去的几十年里，技术的发展速度远远超过了人类适应它的能力。强调人工智能的技术属性，而忽略其日益增长使用中的人类和制度层面，只会使挑战更加复杂。
在许多领域，人工智能的军事经验仍然有限，需要做更多的工作来了解人工智能在人类决策中作用日益增长的影响。本文旨在引发一场更广泛的辩论，讨论英国国防企业内部所需的文化和组织变革，包括指挥部和指挥官的作用，以确保人工智能在未来军事决策中的最佳使用。
本文的见解来自与人工智能、人类认知、军事决策和信任理论有关的更广泛的文献。这项研究在2021年9月至2022年2月期间进行，大大受益于与来自国防、学术界和工业界的广泛专家和用户的访谈。
前两章提供了本文的理论背景。第一章探讨了人工智能和信任的概念，第二章则分析了人类机构的作用以及人工智能对人类做出选择和决定的认知能力的影响。第三章结合信任、人工智能和人类机构的概念，提出了一个在人工智能支持的军事决策中发展信任的五维框架。第四章扩大了对C2的分析范围，特别关注人工智能对传统上支撑武装部队行使权力和指导的人和体制结构的影响。最后一章提出了对未来指挥、领导和 "全军 "团队的进一步研究领域。
1. 人工智能和信任
对于人工智能或与人工智能有关的信任，并没有标准的定义。这两个概念都有不同的解释，有时也会有激烈的争论。本章没有试图综合所有关于这两个术语的文献，而是建立了一个基准定义，为随后讨论关于人工智能应用于军事C2的信任作用提供框架。
1.1 人工智能的性质和类型
人工智能的概念起源于1950年著名的图灵测试，该测试发生在这个词被创造出来的几年前。通过关注它做什么而不是它是什么，更容易将人工智能概念化。人工智能 "试图让计算机做人类思想能做的各种事情"。在最基本的方面，它可以被理解为追求特定任务的虚拟信息处理能力。正如 "智能"（或 "思想"）有许多层面和不同的用途，人工智能也是如此。因此，人工智能从广泛的学科中汲取不同的想法和技术，不仅包括数学和计算机工程，还包括哲学、经济学、神经科学、心理学和语言学。
广义上讲，有三种不同层次的人工智能：人工狭义智能，通常被称为 "狭义人工智能"；人工通用智能，有时被称为人类水平的人工智能；或者更强大的人工超级智能，超过人类的智能水平。在这一点上，有些人认为会出现一个奇点，在这个奇点中，人工智能要么变得有自我意识，要么达到持续改进的能力，使它的发展超出人类控制。后两种水平被认为仍有一段距离，尽管距离有多远还存在争议。不过，就目前而言，狭义人工智能更先进应用的出现，如先进的机器人技术，加上计算能力的爆炸，才是目前关于人工智能的军事用途辩论的主要动力。本文重点讨论狭义人工智能的应用。
图 1：AI 类型的简化分类
在狭义的人工智能中，还有更多的类别，尽管这些技术并不完全是离散的，而且经常被结合使用。最常见的区别是符号人工智能和亚符号或非符号人工智能，前者通常被描述为基于逻辑，后者基于自适应或学习。符号人工智能依赖于顺序指令和自上而下的控制，使其特别适合于确定的问题和基于规则的过程。非符号人工智能，其中神经网络是一种常见的方法，涉及并行、自下而上的处理和近似推理；这与动态条件和数据不完整的情况最相关。符号人工智能提供了精确性和可解释性，而涉及神经网络的非符号人工智能则不那么脆弱（网络中缺少一个节点并不会导致整个网络无法运行），并且能够在没有明确规则或一致证据的情况下识别模式。
有三种常见的机器学习类型，根据有助于智能体学习过程的反馈类型进行区分：监督学习；无监督学习；以及强化学习。在监督学习中，系统被训练来产生假设或采取具体行动，以追求基于特定输入的目标值或输出（被称为标签）（例如，图像识别）。无监督学习没有设定规格或标签，也没有明确的反馈；相反，系统通过寻找数据中的模式进行学习（例如，DNA序列聚类）。强化学习依赖于一个反馈回路，通过试错或奖惩机制稳定地强化系统的学习行为（例如，先进的机器人技术或无人驾驶汽车）。与监督学习不同，强化学习中使用的输入数据不是预先定义的，这允许更广泛的探索，但与无监督学习不同，它有一个预期的应用或总体目标（与总体奖励最大化相关）。
所有三种类型的机器学习，无论监督或自律的程度如何，都提出了重要的信任和值得信赖的问题。所需的信任程度和性质因使用人工智能的目的不同而不同。
1.2 概念：信任（Trust）
信任描述了两个或多个智能体之间的互动。信任的传统定义是假设信任者对受托人的能力和善意（或动机）存在合理的信念。对许多人来说，道德诚信（或意图）的问题是信任与其他概念（如信心）的区别。另一些人认为，信任的范围和所指比信心更广，后者被视为与具体事件相关的独立判断。大多数信任的定义趋于统一的是一种脆弱的感觉。没有背叛的可能性，没有风险的存在，就不可能有信任。
正是因为经典的信任概念中隐含着假定的道德因素，一些人质疑使用该术语来描述人类与人工智能体的关系。他们认为，在目前狭义人工智能的水平上，我们不能将意向性或道德机构归于人工智能系统，因此使用 "信任 "一词是不恰当的。另一些人采取了不那么纯粹的观点，并以反映日常使用的方式应用该术语，意味着对系统的可靠性有信心。
信任作为一个术语在计算机科学中被广泛使用。更重要的是，信任仍然是公众和用户接受人工智能的一个基本方面。今天，关于人工智能的国家政策、法规和专家建议经常强调 "值得信赖的人工智能 "的必要性。例如，DARPA的空战进化计划正在探索方法，以模拟和客观地衡量飞行员在斗狗时对人工智能的信任。认识到这些尚未解决的定义问题，作者选择了略微调整 "信任 "一词，使之与通常的做法一致。
作者调整后的信任概念需要对人工智能的表现有一定的预期，而不需要假设人工智能方面的特定动机。因此，对人工智能体行为的积极预期可能是信任存在的充分条件，而不考虑意图。
在目前大多数关于人工智能的讨论中，重点往往是人作为信任者，系统作为受托人，尽管任何认知智能体，包括自主机器人和智能机器，原则上也可以履行信任者的角色。这样理解的话，信任就成了 "系统成员之间互动的促进者，无论这些成员是人类智能体、人工智能体还是两者的组合（混合系统）"。事实上，在人工智能更成熟的应用案例中，受托人最有可能同时包括人工智能支持的系统（人工智能体）和该系统的提供者（人类智能体）。在目前的人工智能水平上，信任似乎是一种单向的关系，涉及人类 "信任 "人工智能的程度，而不是真正的双向信任，即人工智能对人类表现的看法。
各种因素决定了（人类）对技术的信任，包括但不限于信任者的能力水平和信任倾向，以及整体环境或背景（包括更广泛的文化和机构动态）。除了这些针对人类和环境的考虑，决定一个人或组织对人工智能的信任程度的是技术的性能、过程（它如何产生特定的输出），以及重要的是目的。所有这三者都决定了人工智能系统的设计和部署。
除了技术的稳健性和安全性，隐私、公平、透明度和问责制是一些最常被提出的影响公众对人工智能信任的问题。然而，主要是由于设计适当的算法、理解复杂软件系统的内部结构以及为基于算法的决策赋予责任等方面的困难，所以在值得信赖的人工智能的关键属性列表中总是会加入进一步的考虑：这被交替称为人类机构、监督或有意义的控制。在某些情况下，保持人类对技术使用的监督可能是唯一的保护措施，以防止无意中出现有偏见的、不可捉摸的和/或监管不力的人工智能系统的风险。
1.3 概念：控制（Control）
控制通常被看作是信任的反面。当对智能体执行任务的能力有信任时，就不需要监督。然而，即使在人工智能更适合做决定的情况下，人类也会经常倾向于干预。信任不足可能和过度信任一样有风险或适得其反。事实上，正如绝对的控制是罕见的，绝对的信任也是如此。在开发和使用人工智能的过程中，有必要在适当的信任水平和适当的控制水平之间取得谨慎的平衡。这是 "校准的信任 "或可适应/适应性自主性等概念的核心。信任是根据人工智能的能力来校准的，对人工智能能做什么或不能做什么的期望将影响信任的水平。同样，在可适应的自主性的情况下，用户定制自主性水平的能力可以支持更大的信任水平。这在国家安全决策中尤为关键，因为信任或不信任人工智能的影响可能是最大的。
对技术在人类事务中的作用的担忧并不新鲜。许多人认为关于人工智能的辩论与之前关于技术的争论没有什么不同。根据这一论点，人工智能构成了一种进化，而不是对过去活动的彻底背离，即使人类有时可能在背离以前的自动化水平的情况下被从决策圈中移除。虽然信任仍然是一个挑战，特别是在机构和社会层面，但稳步应用最初仍然有限的人工智能来支持军事活动，随着时间的推移，可以培养出熟悉和越来越多的信心。
其他人，通常是政府以外的人，质疑这种渐进式的方法。他们认为人工智能的崛起是一种范式的转变，与以前的任何技术都有质的不同。以前的技术都没有将人工智能的双重用途特性、传播的便利性和实质性的破坏潜力结合起来。在过去，最具破坏性的技术都在政府的控制之下，或者在军事领域之外几乎没有应用。此外，虽然以前政府主导了大部分新技术的开发，但这种趋势几乎完全逆转；现在大部分投资和创新来自于工业。鉴于军事和民用界限的模糊，以及我们的对手和竞争者对人工智能的投资，认为我们可以控制人工智能发展和使用的速度和程度是不明智的。在反思算法技术的进步时，一些人甚至进一步声称技术和人类之间的角色发生了逆转，人们正在成为 "人类的人工制品"和"（技术系统的）智能体"。
如果我们接受对人工智能系统在未来如何操作（和运行）进行完全控制的限制，关键问题是我们如何在算法超过目前的性能水平后长期确保适当的交互和人类判断。反应时间是军事竞赛中的一个关键优势；加快OODA（观察--方向--决定--行动）循环的各个方面，通常会给那些先到者带来领先优势。而这样做只要一方开始使用人工智能来加快他们的决策和反应时间，另一方就会受到压力。
2. 人工智能和人类机构
2020年12月，美国空军首次使用人工智能副驾驶飞行了一架军用飞机。这种被称为ARTUµ的算法完全控制了传感器的使用和战术导航，而其人类队友则驾驶着U2间谍飞机。这是首次出现人工智能控制军事系统的情况。用美国空军前首席采购官员威尔-罗珀的话说，ARTUµ "是任务指挥官，是人机团队的最终决定者"。
甚至在ARTUµ演示之前，美国国防部已经开始了其全域联合指挥控制（JADC2）计划的工作。JADC2旨在打造连接五个军种的传感器，承诺对作战环境进行快速分析，以便在几小时或几分钟内做出决策。在未来的JADC2中，人工智能将允许快速处理数据，为目标识别提供信息，并推荐最佳的交战武器（无论是动能还是非动能）。美国空军的先进作战管理系统、美国陆军的 "聚合项目"（被称为 "学习运动"）和美国海军的 "超配项目 "都在尝试使用人工智能与自主性相结合的方式来支持JADC2。
其他国家，包括英国通过英国陆军的 "Theia计划"等项目，以及北约也已经开始尝试使用人工智能来支持C2和决策。然而，这种试验的规模和范围仍然有限。与数据挖掘和语言翻译等领域不同，人工智能在军事决策中的应用仍处于起步阶段。
美国国防部高级研究计划局目前开展的工作提供了对未来的一瞥。作为其 "AI Next "项目的一部分，该机构的第三波人工智能投资寻求 "将计算机从工具转变为解决问题的伙伴"，并 "使人工智能系统能够解释其行动，并获得常识性知识并进行推理"。
2.1 人工智能的民事与军事用途
人工智能已经塑造或推动了我们的许多日常决策。在某些情况下，它已经改变了整个行业。在高度交易性的活动中尤其如此，如保险或零售部门。人类已经将关键活动的责任交给了人工智能，让算法在没有人类干预的情况下做出决定。今天，人工智能塑造了谷歌和Facebook等网络平台提供的内容，也决定了哪些内容被删除或屏蔽。保留了人类因素的人工智能决策支持系统也在激增，被用于从医疗诊断到改善制造工艺的各个方面。
很少有地方像金融业那样，人工智能从根本上改变了人与机器的关系。人工智能现在负责绝大多数的高频交易。在几毫秒内做出的数千项微观决定有能力改变整个财富，有时会带来毁灭性的后果，2010年的 "闪电风暴 "证明了这一点。人类的决定对于金融市场的效率不再是必要的，事实上，甚至可能会起到反作用。无形的算法似乎已经超越了无形的手。
至于社会的其他部分，人工智能的潜在军事用途涵盖了广泛的应用范围。这些可以有效地分为企业、任务支持和业务人工智能应用。人工智能的军事应用，特别是与任务支持和作战用途有关的应用，在一些基本方面与日常的民用活动不同。在平民生活中，人工智能有机会利用大量容易获得的数据，不断针对现实生活中的例子进行训练和学习。对于军队来说，与对手的接触是零星的，来自真实行动的教训或 "数据 "在数量和频率上都相对较低。除了军事对抗的偶发性质，国家安全决策通常依赖于一套复杂得多的条件，涉及多个参数和利益相关者（更不用说对手的意图），而今天的算法没有能力再现这些条件。最后，也是最重要的一点，在国防和国家安全问题上，面临风险的不仅仅是财富，还有生命。数学逻辑不足以为决策提供依据；在使用武力时，道德和伦理考虑比任何其他人类活动都要突出。当人类生命的完整性受到质疑时，我们为技术设定的标准将永远高于我们为容易出错的人类设定的标准。
除了美国、英国和北约等国的现行政策外，人们普遍认为人类将在决策中保留一个关键角色。美国国防部的人工智能战略指示以 "以人为本的方式 "使用人工智能，有可能 "将人类的注意力转移到更高层次的推理和判断"。纳入人工智能的武器系统设计应 "允许指挥官和操作人员对武力的使用进行适当的人类判断"，并确保 "清晰的人机交互"。提到人类总是 "在循环中 "和 "完全负责选项的开发、解决方案的选择和执行"--这是以前对我们日益自动化的未来的评估中的常见说法--已经被一种更细微的观点所取代。
所谓的有监督的自主系统是指人类坐在 "循环 "上。虽然人类在理论上保持监督，但一些批评者认为，在实践中，他们可能无法真正控制自动决策，因为他们可能不熟悉为他们提供决策信息的环境和人工智能程序。在这些情况下，人类的干预能力，除了停止机器之外，被降到最低，没有达到"有意义的人类控制 "的想法。只有在完全自主系统的情况下，人类的干预才会被完全消除。然而，最终，试图定义自主性水平的做法可能会产生误导，因为它们假定人类和机器之间的认知活动是简单分离的。2012年美国国防科学委员会的一份报告描述了如何:
- 没有完全自主的系统，就像没有完全自主的士兵、水手、空军或海军陆战队一样。也许对指挥官来说最重要的信息是，所有的系统在某种程度上都由人类监督，而最好的能力来自于人类和机器的协调和合作。
两个领域的发展揭示了各国政府在国防和国家安全的关键决策中信任先进的自动化方面已经走了多远。一个是导弹防御，另一个是网络防御。两者的有效性都取决于反应速度，这通常超过了最有经验的人类操作员的能力。
大多数防御性武器系统，从短程点防御到反弹道导弹系统，都采用先进的自动化操作，使其能够在没有人类干预的情况下探测和摧毁来袭导弹。算法实际上是在发号施令。在这种系统中，人类被称为 "循环"，在事先经过严格的人类测试后，在有限的设计空间内运作，因此其控制范围受到限制。虽然错误永远不可能被完全消除，但在大多数情况下，不做出反应或反应迟缓的风险可能超过偶尔发生事故的风险。虽然事故促使人们对这些自主系统的操作进行审查，并可能导致引入一些进一步的人为检查，但这种干预也带来了进一步的复杂性。对越来越快的导弹，特别是高超音速导弹的防御将继续推动人工智能在导弹防御中的应用。
网络战是人工智能相对于人类具有明显优势的另一个领域，而这往往需要人类保持置身事外。人类操作员缺乏算法快速检测和应对网络事件以及不断调整系统防御的能力。所谓的认知电子战（EW）系统应用人工智能技术来自动检测对EW系统的威胁，而不是依赖人类操作员。
2.2 人类和人工的局限性
将决策过程中高度耗时、劳动密集型和需要低层次人类推理的部分自动化，有巨大的好处。军事评估过程是军事决策过程的一个关键部分，一直是参谋学院教授的标准作战计划过程。这种方法的一部分涉及收集和处理信息，为一个或多个行动方案提供信息。由于信息时代的决策需要更大的速度和敏捷性，达成决策的过程将需要加速。人工智能已经证明了它在基于明确定义的规则、输入和假设快速执行理性过程中的效用。只要人类负责设定假设并定义产生替代方案和概率评估的输入，人工智能就能增强整个决策过程。
可以理解的是，政府内部和外部都不愿意让人工智能发挥超出决策支持和适当决策的作用。"指挥和控制"的概念在军队的心理和结构中根深蒂固，许多人无法接受一个在某种程度上不涉及人类控制军事行动或指挥任务的未来。人被要求带着他们对问题的创造性见解，像现代的亚历山大一样解开这个死结。没有什么比对 "翠鸟时刻 "的信念更能体现这种对直觉型指挥官形象的依恋。这种技能，即指挥官艺术的精髓，只限于那些在最苛刻的情况下能够凭直觉做出决定的少数人。人工智能提供并非基于人类逻辑或经验的独特见解的能力，对这种思维提出了深刻的挑战，并可能在未来改变指挥官的形象。
许多人将人工智能称为决策支持而不是决策工具，其推论是人类最终仍然是所有决策的仲裁者。这样的区别造成了一种令人放心的错觉，即人工智能只是协助实现一种效果。人类根据一套算法挖掘、筛选和解释的数据做出的致命行动决定，是否比由智能机器完全执行的决定需要更多的人类机构？对 "行动 "的痴迷--更不用说致命行动--作为更广泛的 "杀伤链 "的最后元素，掩盖了人工智能在整个行动范围内的一系列C2活动中日益增长的影响。
许多专家对人类是否有能力控制由人工智能促成或驱动的决策持怀疑态度。这种怀疑往往围绕着所谓的黑盒问题：高级人工智能，如深度学习，在本质上是无法被人类理解的。这不仅仅是由于它的工作速度，也是由于算法网络相互作用的方式，以及它们所操作的数据的规模和复杂性。我们不能简单地询问系统以了解其思维过程。我们可能知道一个模型的输入和输出，但却无法理解这中间发生的事情。一个相关的、更微妙的论点是，算法对人类的认知摄入施加了 "权力"。人工智能可以决定人类处理哪些信息，而不向他们透露哪些信息被遗漏或拒绝。它还挑战了这样一个概念，即如果人类的行动受到数据呈现的内容和方式的制约，他们可以行使 "有意义的 "控制。这与人工智能的好处之一正好相反，即它能够减少人类的认知负荷，使人类能够集中精力思考和作出最高价值的活动。
对黑盒挑战的典型解决方案是开发可解释的人工智能（XAI）。尽管能够自我解释的人工智能可能有助于理解，但它并不必然会导致信任。XAI并不等同于可解释的AI；解释不是一个决定，而是一个关于决定的叙事。因此，即使是一个令人信服的解释也不一定是真的。对于许多潜在的用例，我们还远远没有能力开发出足够的可解释（Explainability）的人工智能，更不用说可因果解释（Interpretability）的了。对更先进的人工智能系统进行严格的测试可能会证明它们的部署是足够的，即使是在没有人类能力遵循其推理过程的情况下。不过，从根本上说，我们对测试的传统方法需要重新思考。没有充分的测试和评估，对不可解释/可解释的人工智能的信任将是 "盲目的信任"。对于美国前国防部副部长鲍勃-沃克的问题，我们仍然缺乏一个令人满意的答案：你如何对学习系统进行测试和评估？
当存在不确定性或缺乏知识时，人类会应用启发式方法来近似解决复杂问题。启发式方法是驱动直觉思维的因素；它依赖于经验法则，通常是通过经验和实验来了解。因此，它可能存在偏见和盲点，但它也可以作为一种非常强大和有效的快速认知形式。机器缺乏类似人类的直觉，但它们确实依靠启发式方法来解决问题。与人类推理的关键区别在于，机器不需要记忆或 "个人 "经验就能进行 "直觉 "或推理。它们利用巨大的数据库和卓越的概率能力为决策提供信息。强大的模拟与先进的计算能力相结合，提供了一个测试和 "训练 "算法的机会，其重复程度是人类无法想象的。在宣布任务准备就绪之前，ARTUµ在短短一个多月内经历了超过一百万次的训练模拟。
即使在XAI领域取得了重大进展，仍然会有谨慎的理由，特别是在需要复杂决策的情况下。人工智能通常不善于看到 "全局"，也不善于根据相关的内容做出决定。像人类一样，它也会把相关性或偶然事件误认为因果关系。人类和机器在处理复杂问题时都会遇到 "正常的意外"。创造力是人类通常具有的特质，但一些先进的人工智能可以产生人类无法企及的惊人结果。简而言之，许多通常被认为是人类特有的属性，如创造力和直觉，也可以说适用于人工智能系统--尽管方式不同，速度超过人类能力。
目前机器所缺乏的是人类思维的灵活性和关联感（"框架 "的能力）。人类可以横向思考，通过实用主义得出合理的结果（这一过程被称为归纳推理），并反思自己的思维过程（这一能力被称为元认知）。这些心理过程可以产生惊人的适应和创新的壮举。
人工智能的出现意味着未来的军事决策将几乎肯定需要更强大的人机共生关系，就像在已经接受该技术的商业组织中看到的那样。目前的讨论大多是假设人类继续控制，或寻求将人类的属性应用于未来的机器。一些人提倡一种新的 "决策演习"概念，将 "人的指挥和机器的控制"结合起来。但更有可能的是，指挥和控制的责任将越来越多地由人类和人工智能系统分担，其方式可能是目前难以设想的。人类与人工智能的合作提供了利用各自优势和减少不足的最佳方式，特别是在战争方面（目前战争的性质仍然没有改变）有四个连续性：政治层面；人类层面；不确定性的存在；以及战争是一场意志的较量。
3. 信任的维度
信任是动态的；它随时间而变化。它的最初形成是至关重要的，但它的持续发展也是如此。信任是随着熟悉程度的提高而自然产生的，因此，假设经验是积极的，即使是在对技术不完全了解的情况下，技术的使用也会扩大信任的范围。反过来也是如此，不好的经验会促进不信任。移动电话技术复杂性对大多数用户来说是未知的，但人们的积极经验给了他们使用的信心。这种信心导致了与手机使用所形成的决定相适应的信任感。然而，手机一般不会决定生死大事，尽管它们会将盲目听从指示的不谨慎的司机置于危险之中。在军事背景下，赌注更大，用户和策略制定者非常清楚他们的决定的潜在后果--信任门槛很高。
军队作为应急组织，不需要定期交付其主要产出，这影响了可以获得最直接相关经验的速度。与金融服务业不同的是，在金融服务业中，交易为人工智能决策提供了频繁的验证，而国防部门的时间线往往更长，结果在一个单一的因果链中也没有明确的联系。做出决定和观察其影响之间的时间间隔更长，并受制于多种干预变量。虽然模拟演习创造了获得经验的机会，但它们只是现实的近似值。
3.1 信任点（Trust Points）
建立和维持信任涉及五个主要的 "Trust Points"--在这些点上，拥有适当水平的信任问题是至关重要的。这些点是：
- 部署信任：使用人工智能的目的
- 数据信任：正在使用的数据输入
- 过程信任：数据如何被处理
- 输出信任：由人工智能产生的输出
- 组织系统的信任：优化使用人工智能的整体生态系统
总的来说，这些Trust Points定义了一个整体的信任水平，并且是乘法的：如果对其中一个的信任是 "零"，那么整体就是 "零"。只要整体信任是正向的，每个人的信任水平都可以变化--在不同的时间。
部署信任
对在特定情况下使用人工智能的决定的信任是至关重要的。对于人工智能的军事使用（以及许多民用应用），这在三个层面上运作：社会；组织；和个人。第一个层面考虑的是整个社会是否愿意允许人工智能的使用，这将决定策略制定者如何看待它的使用。组织本身也必须愿意认可这一点。最后，个人必须愿意在这个角色中与人工智能合作。所有这三个层次都需要接受使用人工智能的必要性或其可取性的必然性。可取性可能反映了人工智能在以超过人类操作员的速度或数量（或两者）处理数据方面的优势，或在承担枯燥或危险的工作方面的优势。而军方可能会认为，人工智能既实用又要避免将优势让给对手，但社会似乎更倾向于将致命的使用视为一个伦理问题，在这个问题上，人类生命的神圣性要求道德行为者决定夺取人的生命。
社会对人工智能使用的接受程度在很大程度上取决于其经验、有效的沟通和教育，这将有助于为人工智能的使用选择提供依据。在许多情况下，社会的某些部分可能会比军方更多地接触、熟悉和信任人工智能，但致命自主权可能仍然存在问题。虽然没有致命自主权那么直接的威胁，但在决策中使用人工智能会带来自己的挑战，其中最重要的是在一个算法越来越强大、人机协作越来越紧密的世界里，"有意义的人类控制 "究竟意味着什么。
在组织层面，存在关于如何部署作战和任务支持人工智能的重要问题：是以集中的方式在更高的战略层面运作，还是以更分散的方式在战术层面运作。在后一种情况下，人工智能将进一步渗透到组织中，变得更加分散，并用于反应时间可能限制人类干预或验证人工智能的范围。组织需要明确决定是否使用人工智能的原则，以及管理其使用的方法（见下文 "过程信任"）。关于使用人工智能的决定必须考虑如果系统失败会发生什么。美国国家航空航天局（NASA）由于担心系统故障的后果而没有充分利用其早期火星车的自主能力，对火星车进行微观管理，并通过大型人类工程师团队减轻风险。外部组织，如商业技术供应商，的想法也很重要。例如，谷歌的员工迫使该公司在2018年退出一份军事合同，因为他们担心军方对面部识别技术的使用。
个人对人工智能的熟悉程度也将是重要的。目前，从事军事人工智能工作的人是其使用的倡导者，但随着接触人工智能的人群的增加，这种情况将发生变化。与前几代人相比，接触技术较多的年轻军人可能更容易接受人工智能在军事决策中的应用，但在基础等级的联邦结构中，人才几乎完全来自内部，对其使用的阻力可能来自那些有权力的人；这可能造成机构接受问题。然而，在 "代际特征 "方面，存在着过度简化的危险。虽然年轻人是在较新的技术中长大的，而且可能更信任它，但技术是可以学习的。代际假设不能成为不使用现代技术的借口。
部署信任是复杂的，因为大多数西方国家的大规模防务活动都是以联盟行动为前提的，而不是每个盟友或伙伴都对什么是可接受的人工智能的军事用途有共同的看法。国防部和政府需要更好地传达他们在使用人工智能方面的方法、用途和保障措施，包括向盟友传达，而不向对手透露太多信息，因为他们可以制定战略来抵消（或更糟）人工智能功能的优势。北约将通过其公共宣传活动、与成员国在政治层面的联系以及在不同技术发展阶段的军队中建立规范，在这方面发挥关键作用。
数据信任
这涉及到对人工智能做出判断的数据的信任程度，这些数据为人类决策提供了依据。虽然测试硬件和软件相对容易，但测试数据，甚至是准备让人工智能接受训练的数据，则更加困难。数据对于人工智能的有效学习至关重要。一些数据将被控制，驻留在现有的国防系统内，或从可靠的外部来源进行验证，尽管国防部在数据的分类（不一致或不准确）、存储、访问和共享方面存在困难，特别是在较高的分类级别。不受控制的数据，如开放源码数据，是在没有人类知识或理解的情况下通过聚合产生的，这更具挑战性。此外，狡猾的对手会试图注入虚假数据，以破坏决策过程，或用不相关或不准确的数据淹没决策过程。
武装部队需要定义、构建、清理和分析数据的能力，以及开发和维护底层基础设施（如连接、安全和存储容量）的能力。这是一个多学科的团队工作，需要能够在数据科学生命周期的所有阶段工作的 "全栈 "数据科学家。现代战场将需要更加多样化的技能，包括心理学家、律师和通信专家。鉴于商业世界对这些技能的需求，吸引和保留这些专家的数量将是困难的。这将需要更灵活的人力资源做法和/或对整个部队更复杂的理解和使用，包括允许非军事人员在军事总部担任有影响力的职位。
过程信任
过程信任指的是人工智能系统如何运作，包括数据如何处理（汇总、分析和解释）。目前英国国防部的（狭义的）人工智能决策支持系统吸引了高信任度，因为算法相对简单且可预测。它们也仅限于参与开发的一小群用户，或者认识那些开发了人工智能系统的用户，并且了解该技术。该技术受益于一种源自人们对人类的信任的过渡性信任。虽然不是人工智能，但法国陆军引进的包装降落伞的机器导致了降落伞团的信心丧失。坚持要求机器的主管用机器随机选择的降落伞打包跳伞，有助于恢复用户的信心。让开发人员更接近指挥系统的用户会有所帮助。法国的采购程序允许某些单位直接与人工智能供应商接触，以建立对开发商的了解和关系。开发商成为一个关键的信任点，如果不是军队，他们必须了解和熟悉军队的情况。这可能需要加大投资，让商业伙伴了解军队的工作方式，并确保军事人员了解其文职同事。
要求高水平的可解释性和透明度并不是一个永久的解决方案，目前限制了英国防部对更强大的、非符号形式的人工智能的访问。随着机器学习使技术超越其最初编程的参数，将需要不同的方式来确保对可能看起来是黑盒的信任。随着这种人工智能系统的使用激增，因了解设计者而产生的过渡性信任将减少，在这个过程中克服最初的信任不足或过度信任将更加困难。应避免过度依赖过程信任，并加强其他信任点，以开发适应能力越来越强的人工智能。
过程信任必须超越技术本身。它需要信任那些为技术提供能量、与技术一起工作并接受技术产出的人类过程。因此，必须同样重视那些共同构成整体过程的其他活动。这包括培训和人员的过程，以及如何组建团队。
输出信任
对人工智能产出的信任对决策者根据他们收到的信息采取行动至关重要。即使是人类提供的情报，如果原始信息指向不同的方向，指挥官要求新的情报来支持他们的先入之见（一种 "基于决策的证据制作"）也不是没有。而随着数据的激增，不同的解释将成为可能，合法的或符合先入为主的解释。因此，出现了这样的问题，即人工智能或事实上的人类分析能够现实地提供什么答案，以及如何验证输出。在友军的部署和对手的物理位置方面，人工智能有可能提供更快的态势感知。然而，尽管可以从现有的数据中得出更好的推论，但对手的实际意图是无法可靠地确定的。可预测性通常被视为信任的关键因素，但在不稳定的环境中，能够适应不稳定环境的人工智能输出会被解释为不可预测。为了克服这个问题，Bonnie M Muir认为，人类操作员必须具备估计技术可预测性的能力。这种可预测性也会影响整个部署和过程信任点，但在输出信任方面最为敏感，以反映军事行动等流动性和不可预测的环境。在这些情况下，数据还必须反映军事决策者所面临的大多数情况的离散性和特定对手的独特文化方式，这加剧了建立大量训练数据的难度。即使在情况类似于过去的事件时，由于缺乏可比的历史数据来说明广泛的变量，使得概率推理变得困难。
用Patricia L McDermott和Ronna N ten Brink的话说，输出的校准是至关重要的。这可以通过更多地使用企业人工智能和模拟来实现，它扩大了信任的边界，可以帮助开发输出信任。如果经验是积极的，与技术互动并看到它的输出将产生信任。在作战环境中，当描述可以知道和检查的东西时，验证将是最容易的（例如，关于自己部队的数据和潜在的对手部队的布局）。要接近了解对手的意图是比较困难的，因此需要更高水平的输出信任。这将包括提高描述的准确性和对从大数据处理中得出的推论进行更多的测试。分享演习和行动的正面叙事，对于实现过渡性信任和缓解从相对不频繁的行动中积累成功证据的缓慢速度至关重要。
组织系统的信任
生态系统的信任涉及调整更广泛的组织系统以最大化人工智能的价值所需的信任。C2系统作为一个整体必须被配置为利用人工智能辅助决策的好处，并有适当的检查和平衡，以在可接受的风险水平内运作。当人工智能的弱点或失败是在主管的专业知识之外的领域，需要在组织的不同部分进行校准时，这一点尤其重要。如果不在生态系统和组织层面上进行变革，组织将只是将其人类系统数字化。
需要生态系统的信任，以确保结构--包括军事总部的组织、指挥官的角色以及集中式与更分散或分布式的决策权的平衡--准备好利用人工智能的机会。如果没有准备好，采用人工智能的渐进式方法往往会鼓励对结构和整体生态系统的变化采取被动或消极的方法。相比之下，实现人工智能变革力量的专门战略将迫使人们尽早重新思考支持这种战略所需的组织。这需要重新思考传统的军事结构，但对于走多远并没有共识。一些人设想总部变得更扁平，并将非军事人员纳入高级职位，在决策过程中拥有权力。对另一些人来说，生态系统的变化更为深刻；它要求完全取消目前被视为工业时代遗留的工作人员组织系统。这样做，他们打算消除扼杀理解的信息边界，并挑战决策金字塔尖上的独当一面指挥官的想法。这种转变需要整个组织生态系统的信任。对于像军队这样的保守组织来说，这将是困难的，在指挥部的激进替代方案被接受之前，需要得到保证。实验、战争游戏和模拟环境提供了低风险的选择，以测试为特定类型的任务（例如，战争、和平行动和能力建设）配置的不同总部结构。
3.2 多少信任是足够的？
信任是根本，但为技术设定一个不可能高的标准也有风险。几千年来，指挥官和决策者们一直信任易变的人类。当人工智能开始观察到输入数据分布的变化时，技术可以通过自我监测的方式提供帮助，提醒人类 "操作员"，或以以前未曾见过的方式进行操作，这样错误输出的风险会更大。风险容忍度，无论是关于人类还是机器演员，最终都是信任的表达。国防组织需要对自己是否是快速采用者或快速或缓慢的追随者持诚实态度：商业世界的人工智能发展速度使大多数武装部队极不可能成为人工智能决策的 "第一用户"。渐进派和未来派都是人工智能的支持者，他们之间的差异主要是风险问题，以及针对不同信任点的可实现的信任水平。
通过熟悉产生信任是至关重要的，这可能涉及到将军事人员嵌入到使用复杂人工智能的商业组织中，或将平民带入国防。这种变化需要在足够高的级别上进行，以促进生态系统的信任。模拟、实验和演习是重要的工具，而且必须足够广泛，以便不局限于一小群狂热者。英国电信公司用人工智能决策支持工具取代英国的电话网络的项目，当服务时间最长、知识最丰富的工程师与人工智能和数据专家合作时，效果最好，他们可能会对人工智能产生怀疑。将企业人工智能引入改革业务流程，如财务和人力资源，是将熟悉程度扩大到目前直接参与人工智能开发和使用的少数干部之外的另一种方式。
一旦熟悉的东西，信任是人类的天性，但信任的习惯会带来自身的风险。众所周知，人类不善于设定正确的目标，当遇到 "专家意见"（无论是人为的还是其他的）时，他们更容易同意而不是怀疑。必须避免 "信任和忘记 "的动态。一个考虑因素是为人工智能系统制定一个 "持续可信性 "的概念，类似于航空平台的持续适航性，以确保它们仍然适合使用。因此，建立对人工智能的信任（并避免过度信任）的努力必须解决所有的信任点，并包括整个人类-机器团队，其中人类操作员是其数字对应方的有效合作者和建设性批评者。
4. 对指挥部和指挥员的影响
人工智能对决策的知情、制定和实施方式的影响将是深远的。通过以超越目前人类进程的速度处理大量的数据，人工智能可以提高对作战环境的理解，并减少决策者的认知负担。这不仅仅是今天工作方式的演变。仅仅加快当前C2系统的速度是不切实际的。一辆设计为以70英里/小时速度行驶的汽车是为以该速度运行而配置的。将发动机调整到每小时100英里的速度也许是可能的，但会给车辆系统和驾驶员带来无法承受的压力。由人工智能驱动的决策所代表的不连续性需要一种新的方法。正如多国能力发展运动（MCDC）所述。
无论我们未来的C2模型、系统和行为是什么样子，它们都不能是线性的、确定的和静态的。它们必须是灵活的、自主的、自适应的和自我调节的，并且至少与它们形成和运行的环境一样具有偶然性和突发性。
军队必须为明天的C2进行重组，并以不同的方式培养他们的指挥官和工作人员。如果没有这些变化，"生态系统信任"可能被证明是不可能实现的。
4.1 指挥和控制
C2包含两个不同的元素：指挥，通常与创造力、灵活性和领导力相关；以及控制，与规则、可预测性和标准化相关。人工智能将首先影响控制功能，目前，指挥仍主要是人类的活动。人工智能的数据处理能力将消除控制的大量负担，例如，为指挥官提供对其部队的更好理解（如部署、状态、设备和供应水平），目前这需要消耗大量的注意力和时间。它还将改变向指挥官提供信息的方式。目前，这些数据大部分是在 "拉取"的基础上提供的--根据总部的报告程序要求或零星地收集。然而，人工智能可以持续监测局势，并通过强调相关变化的活文件将信息推送给指挥官--类似于24小时的新闻编辑部。然而，通过进一步进入控制领域，人工智能将不可避免地影响指挥权的行使，并形成指挥决策；这对上述指挥和控制之间过于整齐的区分提出了挑战。在未来的C2系统中，可以想象人工智能可以限制指挥权的行使，就像防抱死制动系统、牵引力控制和电子稳定性允许人类驾驶员指挥车辆，直到失去控制，此时系统会接管，直到情况稳定下来。
人工智能给人类指挥带来了一个悖论。它同时使更多的知识被集中掌握，使总部能够看到并与 "前线 "发生的事情互动，并将知识扩散到整个指挥系统，使较低级别的编队能够获得以前只有高级指挥官才有的信息。将更多的权力下放给地方指挥官可以提高反应能力，这在事件发展不可预测、需要快速反应的情况下非常重要。西方武装部队倾向于采用（或多或少）任务指挥的概念，即指挥官的意图描述了预期的效果，并允许下级指挥官根据他们面临的情况自由执行。军队的学习和发展系统以及演习嵌入了这种方法--指挥官将需要相信人工智能能够在其操作中实施这一意图。鉴于数据和奖励功能的战略复杂性和模糊性，人工智能在战术和作战层面的使用可能比在战略层面的指挥更有效，尽管这些层面并不离散，在现实中也不容易被分割开来。人工智能和更大的网络连接将提供一个结构、流程和技术网络，连接多个小型、分散的前方总部和分布式（和加固的）后方功能，即使在更透明的战斗空间，也更难发现和反击。如果敌人以C2系统为目标，这将增强复原力。
在每个层面上处理更大数据量的能力必须被仔细引导。人们应该能够获得与他们的地位和相对能力有关的信息，以影响他们在环境中发展。W-罗斯-阿什比将此描述为 "必要的多样性 "问题：一个可行的（生态）系统是一个能够处理其环境变化的系统。行为者应该在适合其任务的抽象水平上运作。一个旅部不能处理也不需要关于单个士兵的详细信息；它需要对其下属单位的身体和道德状况有一个良好的总体了解。在更多的战术层面上，NCO指挥官应该对他们团队中的个人状态保持警惕。战略和作战指挥官可能需要放松控制，让战术指挥官在更接近战斗的地方利用新出现的机会。虽然任务指挥已经允许这样做，但随着高级别的指挥官获得关于战术层面发生的信息的空前机会，"控制"的诱惑会更大。
人工智能也需要使用抽象、近似和校准的杠杆，以避免将总部淹没在数据洪流中。这需要在使用这些抽象和近似时的 "过程信任"。总部也可能需要使用不同的人工智能系统，其能力更适合或不适合不同时间范围内的不同场景。决策也可能包括确定在特定情况下信任哪种人工智能模型（部署和过程信任）的因素。
人机联合系统的自动化将提高人类的表现，在某些情况下，改变任务本身的性质。无论在什么层面上部署，人工智能不仅会影响人类执行任务的方式，也会影响人类执行的任务。目前的方法通常从研究哪些人类过程可以自动化开始，即人类工作的数字化。有可能从使用人工智能的假设开始，只有在人类是必要（出于法律、政策或道德原因）或可取（更适合这项任务）时才将人类放入系统中--决定什么不应该，而不是什么可以被数字化。这种方法挑战了目前关于总部的规模、组织、人员配置和运作的概念。
4.2 对未来总体结构的影响
联合概念说明（JCN）2/17指出，C2有可能在不同的战争层次（战略、作战和战术）上发生变化，并对作战环境的变化特征做出反应，因为作战环境不再仅仅是物理环境。战争与和平的模糊性--强调了在 "行动 "和 "作战 "之间的连续过程中有效的必要性--以及英国向能够持续参与的部队结构的转变，将需要超越战斗所需的方法。然而，可能没有单一的总部原型；因此，为战斗而配置的总部将与处理上游参与和能力建设的总部不同。虽然现在确定人工智能对军事总部的影响还为时过早，但商业组织已经发现，与传统的垂直层次结构相比，具有更多横向信息共享的扁平结构更适合利用人工智能的优势，因为在垂直层次结构中，每一层都要保证和授权数据才会被发布。因此，军事总部--无论其具体形式如何--很可能会比现在更小、更扁平，能够更快地沿着水平线工作。
探索替代的总部概念可以通过更多地使用实验和模拟来实现。这应该对经典的J1-9参谋部提出挑战，或许可以用新的分组来反映人工智能取代人类密集型数据处理和共享任务的能力。在J3/5区域尤其如此，这是计划和行动之间的界限；由更快的决策带来的更快节奏的冲突使这种界限变得过时。组织总部的替代方法可能包括那些注重结果的方法。JCN 2/17中描述的英国常设联合部队总部（SJFHQ）的结构是围绕着四个职能来组织的：理解；设计；操作；和启用。SJFHQ后来又恢复了传统的J1-9人员分支。然而，"联合保护者2021 "演习是一项复杂的亚门槛行动，其中使用了人工智能决策支持工具，揭示了J1-9架构的弱点。总部开始演习时是为高强度战争而配置的，但随后调整为更适合与其他机构合作的配置。SJFHQ内部正在开展工作，应用2021年联合保护者的经验教训，并确定这对总部结构意味着什么。然而，不太可能有一个完美的总部模式适用于所有行动类型。需要进一步的实验，不限于SJFHQ。很能说明问题的是，自JCN 2/17发布以来的四年多时间里，在实施其中的一些建议方面几乎没有取得进展。即使英国国防部采用技术的速度相对缓慢，但这也超过了国防部探索改变结构的能力，超越了小规模的爱好者群体。"生态系统信任"是至关重要的，需要有机会在模拟或真实的环境中对各种任务类型的替代方法进行测试，并让更多的人参与进来，这对有效采用新技术、结构和过程至关重要。
现有的程序需要改变以连接和优化新的结构。这可能需要改变构成武装部队规划过程基础的军事评估。虽然它是一个复杂的、符合逻辑的规划工具，但它是相当线性的、确定性的，并且严重依赖于指挥官，特别是在 "指挥官领导 "的英国方法中。在其他国家，参谋部在推动解决方案方面发挥了更大的作用，这可能更适合于人工智能的方法。人工智能为更多的迭代和协作过程提供了机会，它能更好地响应军事和民防资源中心的要求，转向更敏捷的模式。新的方法应该给指挥官带来更少的压力，要求提供信息（指挥官的关键信息要求）。人工智能还可以构建、分析和比较作战行动方案，允许在做出大规模投入部队的选择之前对情景进行建模、测试和完善。
英国常设联合总部（PJHQ）的情报评估过程自动化的思想实验发现了取代大量工作人员的机会，加快了总部的战斗节奏，并允许使用自动总结和自然语言处理来横向共享信息。在一次作战部署中测试了这一点，英国第20装甲步兵旅战斗队将部分计划过程缩短了10倍。然而，当人类仍在环路中时，决策环路的速度可能是有限的。在某些时候，人类决策者将无法跟上，成为决策监控者。如果仍然需要人类来做人工智能自己不能做的决定，这将是一个问题，而这可能是最困难的决定。
尽管有明显的优势，但总部不太可能在技术允许的范围内减少。目前的总部通过规模和保证程序的冗余来补偿人类的脆弱性，这对于减轻人工智能团队成员的脆弱性可能仍然是正确的。此外，随着战斗节奏演变成连续的24小时规划周期，节奏的加快可能会推动某些领域的需求上升。这些压力可能并不局限于总部本身；它可能会推动前线单位的活动增加，他们必须处理数据并对所发出的指令作出反应。人类行为者仍然需要时间来休息，即使技术不需要。此外，与商业组织不同，军队需要冗余，以应对竞争对手蓄意破坏或扰乱他们的决策机构，并需要确保固定基础设施的安全，以建立他们的网络。简而言之，对弹性和流动性的需求影响了军事C2系统的稳健性和效率。因此，军队将需要保留不完全依赖人工智能进行有效操作的结构，并确保在人工智能失败或故意削弱对人工智能信任的情况下，有恢复性程序可用。
4.3 培养指挥官
传统上，指挥官是垂直决策结构的顶点，是所有信息的汇集点。虽然不是所有的军事文化都强调个人的天才，正如 "翠鸟时刻"的概念所体现的那样，但指挥官获得信息的特权被总部的低层人员所拒绝。人工智能使信息民主化的潜力将改变这种情况；指挥可能会成为一种更加合议和反复的活动，不仅涉及那些穿制服的人，而且包括情报机构和具有数据科学多方面专业知识的承包商在内的更加折衷的组合--一种 "全部队"的贡献。面对一个复杂和适应性强的战斗空间，另一种鸟也许为未来的指挥提供了一个更好的比喻：椋鸟。它们集体的、高度适应性的杂音为英国的发展、概念和理论中心的C2概念提供了一个更好的形象，即 "为设计和执行联合行动而配置的动态和适应性的社会技术系统"。
指挥官必须继续能够处理动态环境；"没有计划能在与敌人的接触中幸存下来 "这句话仍然是正确的。鉴于技术能够提高速度（减少反应时间）和复杂性（通过更透明的战斗空间），处理复杂、快速演变的问题将尤为重要。军事组织正在试验人工智能将如何改变C2，包括北约卓越指挥与控制中心、美国JADC2和英国军队的数字准备实验。早期的迹象表明，指挥官将不得不更多地关注问题的框架，并确保在更小、更扁平的结构中的更多不同团队之间的理解和目标的统一。这表明需要一个不同类型的指挥官和不同类型的工作人员；他们能够整合由不同学科的成员组成的不同团队的工作，而且往往是来自军队以外的成员。
确保指挥官能够正确地设定问题的框架是至关重要的。人工智能非常善于在框架内操作，但目前至少在 "阅读字里行间 "或从定义不明确的数据集中推断方面很差--这种脆弱性仍然依赖于有人类来设定框架。在确定了问题的框架后，指挥官必须能够判断产出在该框架内是否合理。这需要能够看到大局的人，武装部队需要通过在总部的参谋经验来培养未来的指挥官，使他们熟悉环境和流程，从而能够在越来越高的级别上进行指挥。模拟可以促进对总部的接触，同样可以确保较小的总部仍然保留人们获得经验的作用，通过这些经验可以获得必要的指挥技能。
虽然指挥官需要知道如何与技术互动，但他们必须继续关注人工智能所要服务的作战要求，并对其持适当的怀疑态度，以便他们成为这一过程中的知情者，而不是算法输出的被动接受者。指挥官需要类似于工业界的 "π型领导人"，在军事专业的同时具有数字和数据意识。他们不需要成为技术专家，但应该有足够的知识来了解其局限性，能够与团队中的专家合作，并有足够的满意度来允许对数据、流程和产出的信任。
集体而言，总部团队需要这些技能，各个团队成员能够相互交流和理解。这超出了情报分析员的范围，包括来自武装部队内部和外部的广泛的行动、技术和数据专家。它还包括对风险更复杂的理解和沟通能力。战争从根本上说是一个风险管理的问题，这需要以经验的方式来理解和沟通风险。因此，了解概率和信心水平是一项关键的指挥技能，但诸如冲突中的一次性决定也需要长期的判断。
军事教育需要通过在职业生涯中更早地引入数据和技术意识来应对。此外，军队对不同能力的评价方式也需要改变。据传闻，英国陆军的职业管理流程往往将那些在计算能力上取得好成绩的人引向采购等领域，而不是作战，被选入参谋学院的专业人员往往在计算能力上处于较低的四分之一。这不仅仅是军队面临的挑战：有望成功竞争的国家需要国家教育系统认识到数据和技术素养技能的价值，并从小培养他们。作者并不主张将教育变成就业前培训；虽然需要STEM技能（数量比现在多），但人文和社会科学仍然很重要，培养出的毕业生适应性强，能够解决复杂的问题，并以影响力进行沟通。国家的成功取决于学术和其他形式的多样性，培养人们在数字世界中茁壮成长，不仅需要技术能力，还需要（人文）特质，如创造力和情商。指挥官和工作人员在未来将需要这两套技能，也许比今天更需要。
除了分析之外，直觉是信息处理中的一个补充部分。在指挥官需要行使的双轨制决策方法中，它是人类认知的一个重要部分。有效的决策结合了直觉和分析的优势。当数据和直觉一致时，决策者可以放心地采取行动。如果它们不一致，则需要在行动前进一步探索。1983年，俄罗斯中校Stanislav Petrov避免了潜在的核战争。他的导弹探测系统报告说美国发射了五枚洲际弹道导弹，但他没有立即报告，而是决定等待，因为这个信息感觉不对。他的（下意识的）双模式决策使他做出了正确的决定。人工智能更强的数据处理和分析能力可以增强决策过程中的分析要素，但它需要指挥官认识到直觉的价值和局限性。专业军事教育需要反映出对数据和直觉这两个组成部分的平衡方法。
4.4 管理整个部队
未来的指挥官所指挥的团队必然比今天更加多样化，领导跨学科团队为复杂问题带来新的见解。人类有效构思和发展直觉的能力通过接触不同的看世界的方式得到加强。这不仅仅是改善受保护特征方面的多样性，尽管这很重要，还包括确保整个部队团队中教育、经验和观点的广泛性。整个部队的不同元素是这种多样性的一部分。
越来越多的跨军事领域的综合活动要求整个部队的各军事部门有效合作。对于正规军事人员，在 "联合"方面已经取得了进展，但还需要做更多的工作。在军事生涯的早期引入联合训练是实现这一目标的一种方式；这可能需要重新思考军事人员何时接受专业军事教育，目前在英国是在30岁左右。相比之下，澳大利亚国防军为参加澳大利亚国防军学院的人员提供了基本的联合军事课程，海军、陆军和空军专家也接受了单一军种培训。这为未来的指挥官在军事生涯早期的成长提供了一个跨学科的 "联合 "模式。正规军的进展需要扩展到后备军的整合，因为未来可能会有更多的技术专家驻扎在这里。
事实证明，整合整个部队的非军事因素更为困难。Serco研究所的一份报告指出，"尽管在过去十年中，整个部队的运作取得了进展，但在实现军事和工业之间的无缝合作方面的努力却停滞不前。虽然武装部队在将非军事人员带入其总部方面做得更好，但在场和被纳入之间有很大区别。如2021年联合保护者等演习，经常邀请国际合作伙伴和民间主题专家来帮助规划过程，但他们往往在军事规划人员完成工作后才被邀请对计划发表意见。许多总部的规划周期缺乏灵活性，这意味着当规划被提出来供审查时，可能已经来不及进行修改了。
这不仅仅是对军队的观察；文职专家往往不熟悉军事进程，等待被邀请做出贡献，这削弱了他们的影响力。军事人员没有本能地理解他们的非军事同事所能做出的全部贡献，因此没有将他们纳入其中。人工智能将迫使人们从一开始就需要在规划过程中建立整个部队的多样性，从而使计划成为真正的合作。
有了人工智能的能力，技术将越来越多地成为整个部队的一个成员。国际象棋大师加里-卡斯帕罗夫（Gary Kasparov）曾指出，好的技术和好的人类棋手的结合，往往比卓越的技术或更好的人类棋手单独工作更成功。在某些情况下，人和机器可能在共享任务中紧密结合，以至于他们变得相互依赖，在这种情况下，任务交接的想法就变得不协调了。这在支持网络感知的工作设计中已经很明显了，在这种情况下，人类分析员与软件智能体相结合，以近乎实时的方式理解、预测和回应正在发生的事件。
从这些人机一体的团队中获得最大利益，不仅仅是有效的任务分配。它涉及到找到支持和提高每个成员（人或机器）绩效的方法，从而使集体产出大于单个部分的总和。正确的行为和创造包容性文化的能力对于从这样的团队中获得最大收益至关重要。指挥官不应专注于试图管理 "突发事件"--一个试图描述简单的事情如何在互动中导致复杂和不可预测的结果概念--或团队成员的活动，而是需要在塑造团队和培养团队内部的关系方面投入更多。
虽然人工智能目前作为一种工具，但随着技术的发展，它应该被视为团队的真正成员，拥有影响人类队友的权利和对他们的责任。然而，无论其最终地位如何，人工智能都可能改变团队的动态和对人类团队成员的期望。将人工智能引入一个团队会改变团队的动态，而它与人类团队成员的不同会使团队的形成更加困难。通过布鲁斯-塔克曼（Bruce W Tuckman）的经典阶段，即形成、冲刺、规范和执行，需要妥协和适应。人工智能目前不太能做到这一点，需要人类参与者有更大的灵活性，这使得建立人机团队更加困难，也更难恢复已经失去的信任。
高级人工智能，如果可以说有动机或偏见的话，很可能是以逻辑和任务为导向的（用实力部署清单术语来说，就是绿色和红色）。一个平衡的团队将越来越需要能够维持团队关系的人类，无论是内部还是跨团队。因此，人机团队将是不同的，尽管他们可能与包括神经多样性同事在内的纯人类团队有一些相似之处，因为对他们来说，感同身受或理解情感线索是困难的。与神经多样性团队一样，人机团队将受益于团队成员的多样性给整体带来的价值，但也需要进行调整，以最大限度地提高团队绩效的机会。人工智能作为团队成员的概念究竟会如何发展，目前还不清楚，但有人呼吁组织在更平等的基础上考虑先进技术的需求。加强企业人工智能在业务支持活动中的使用，将为探索人机团队如何最有效地合作提供机会，并有可能实现预期运行成本的降低，使人类在价值链上从事更有意义的工作。
4.5 职业管理
需要的新的领导风格、新的技能和对技术、数据和风险的进一步理解也需要新的职业管理方法。军队的职业管理系统（过于）频繁地调动人员，但要形成具有必要信任度的有效团队需要时间。军队可能会放慢关键人员的流动，甚至可能放慢团队的流动，从而使总部高级团队作为一个集体实体而不是个人来管理。然而，目前的人力资源实践使军队或工业界不太可能愿意无限期地保留人们的职位以期待未来的需求。用拉斐尔-帕斯卡尔和西蒙-鲍耶的话说，这就产生了 "混合团队"，即那些成员不固定的团队，对他们来说，迅速建立团队信任的能力至关重要。即使是常设总部也会受此影响，特别是当他们成为 "整体部队 "时。对于'临时团队'，例如为特定任务而设立的临时总部，这个问题就更加突出。需要有机制来加速信任的发展，经验表明，这可以通过早期的行为实践来实现，包括展示 "技术能力、信息公开、支持互惠和决策中被认为的诚信"。
放慢总部高级职位人员的流动速度将有所帮助，但这还不够。在无法保证预先建立的团队在需要时随时准备好执行任务的情况下，需要有一种方法来减少组建新的部队团队的时间。模拟提供了一种方法，通过压缩任务演练的时间来准备新组建的团队，并为整个部队的不同组成部分提供共同工作的经验。军队在这方面做得很好；军队的社会化进程创造了强大的纽带，包括派人到合作伙伴那里进行培训、演习和任务。对于整个部队的其他部分来说，这种对跨文化理解的投资是缺乏的。建立对对方的了解，从而建立信任，对文职部门来说同样重要。军队可以做得更多，为其工作人员提供与商业部门合作的经验，包括与技术专家、数据专家和编码人员合作，而文职人员也需要更好地了解军队、其语言、流程和价值观。武装部队可以通过提供交流任命和模块化和/或缩短其课程来协助这一进程，使文职人员有可能参加。冠状病毒大流行引入了新的工作方式，并加速了军事训练和教育的变化，这可以为信任提供基础，在此基础上可以出现新的团队和总部类型。
简而言之，人工智能辅助决策不仅仅是一个技术问题；它需要改变指挥结构、流程和人员技能，才能发挥其潜力，成为武装部队在所有任务中运作的一场革命。然而，至关重要的是，在适应不断变化的战争特征时，武装部队不能忽视战争的持久性：指挥官必须保持领导者和战士的身份，能够激励普通人在最困难的情况下做出非凡的事情，而不仅仅是善于管理战斗的人。在军事方面，人工智能是一种工具，可以最大限度地提高武装部队在激烈竞争环境中的获胜机会。
5 结论
人工智能正迅速成为我们国家安全结构的一个核心部分。军方和情报机构正在尝试用算法来理解大量的数据，缩短处理时间，并加速和改善他们的决策。对人工智能越来越多的使用和熟悉可以促进对它的信任，但正如专家们的辩论所表明的那样，要建立和维持对像人工智能这样的变革性技术的信任，存在着严重挑战。
本文重点讨论了人工智能的作战和任务支持应用，并探讨了不断发展的人与人工智能关系对未来军事决策和指挥的重要性和影响。当军事指挥官的角色从控制者转变为团队伙伴时，当我们不能再将辅助功能只赋予人工智能体时，那么我们就需要从根本上重新思考人类的角色和我们的机构结构。简而言之，我们需要重新评估人机决策中信任的条件和意义。没有这种信任，人工智能的有效采用将继续比技术的发展更慢，而且重要的是，落后于我们一些对手采用人工智能的速度。
一个稍加修改的信任概念--一个不需要将意向性或道德性归于人工智能体的概念--可以而且确实适用于AI。只要我们委托机器做可能对人类产生严重甚至致命后果的事情，我们就会让自己变得脆弱。只要存在人工智能的表现达不到我们预期的风险，对它的任何使用基本上都是一种信任的行为。
除了最罕见的情况，对人工智能的信任永远不会是完全的；在某些情况下，用户可能有意识地同意较低的信任水平。这种信任需要考虑五个不同的元素，作者称之为 "信任点"。我们不应该依赖任何一个单一的点来产生整体的信任。事实上，往往得到最多关注的领域--关于数据质量或人工智能输出的可解释性问题--从长远来看，必然会提供不令人满意的答案，并有可能对技术产生错位的放心感。
最常被忽视的是在组织生态系统层面上对信任的需求。这需要重新思考武装部队的组织及其C2结构。如果说机器的作用越来越大曾经是官僚军队结构兴起的关键驱动力，以集中管理手段，那么人工智能正在以根本的方式挑战常备军的这一特点。如果人工智能的使用不仅仅是模拟工作方式的数字化，国防部必须改变其在 "行动（operate）"和 "作战（warfight）"方面的决策结构。它还需要与整体部队的各个方面进行更密切的接触和参与，包括其未被充分利用的后备部队以及工业和更广泛的政府。
领导力作为军事职业的一个持久要素也需要重新考虑。人们倾向于将领导力视为军事指挥的一种抽象或不可改变的品质。在人工智能时代，指挥任务或领导团队既需要新的技能（如 "表达数字（speak digital）"的能力），也需要更多样化的特质（例如，在数据和直觉发生冲突时，横向思考的能力，构建问题的框架，并应用批判性的判断）。与以往相比，人工智能更需要那些能够理解复杂性、构建问题并根据情况提出正确问题的指挥官。这些 "故意的业余爱好者 "摒弃了早期狭隘的专业化，选择了范围和实验思维；他们可以建立专家团队，吸取专家的意见，使集体人才既广泛又深入。这些全军团队将包括人类和机器，所有这些人都将根据他们在塑造和决策方面的专长作出贡献。
在寻求回答信任如何影响军事决策中不断发展的人与人工智能关系时，本文提出了几个需要进一步研究的关键问题：
- 我们如何建立必要的信任，在战术、作战和战略层面上重新配置指挥部的组织，其规模、结构、位置和组成
- 我们如何调整军事教育，使指挥官为人工智能时代做更好的准备
- 我们如何优化和改造所有领域的集体训练，以改善涉及与人工智能体更多协作的指挥
- 我们如何运作 "全军 "的概念，以更好地利用我们社会、工业和研究机构中的大量人才
- 我们如何定义人工智能和人类在人机团队中的需求和目标
如果我们不从根本上改变如何获取、培训和培养领导岗位的人员，以及如何改革他们所处的机构和团队，我们就有可能在人机关系的信任平衡上出错，并将无法利用人工智能的全部变革潜力。
作者
克里斯蒂娜-巴利斯是QinetiQ公司的培训和任务演练的全球活动总监。她在大西洋两岸有20年的经验，包括咨询、工业和公共政策环境，特别关注国防、全球安全和跨大西洋关系。她曾是华盛顿特区战略与国际研究中心欧洲项目的研究员，Serco公司负责战略和企业发展的副总裁，以及巴黎Avascent公司的负责人和欧洲业务主管。她拥有华盛顿特区约翰霍普金斯大学高级国际研究学院和意大利博洛尼亚大学的国际关系硕士和博士学位，以及英国和德国的商业学位。
保罗-奥尼尔是RUSI的军事科学部主任。他在战略和人力资源方面有超过30年的经验，他的研究兴趣包括国家安全战略和国防与安全的组织方面，特别是组织设计、人力资源、专业军事教育和决策。他是CBE，英国特许人事与发展协会的会员，温彻斯特大学的客座教授，英国后备部队外部审查小组的成员。
Trust in AI：Rethinking Future Command
相关内容
微信扫码咨询专知VIP会员