推荐！《预测与判断：为什么人工智能会增加人类在战争中的重要性》2022.2 MIT最新出版，附讲解PPT与video

摘要

最近关于人工智能（AI）和国际安全的学术研究集中在用机器取代人类战士的政治和道德后果层面。然而，人工智能并不是人类决策的简单替代物。商业机器学习的进步降低了统计预测的成本，同时提高了数据（使预测成为可能）和判断（决定了预测为何重要）的价值。但是，这些关键的补充--高质量的数据和清晰的判断--在不确定和冲突性的战争事务中可能并不存在，或存在的程度不一样。这有两个重要的战略意义。首先，采用人工智能的军事组织将倾向于变得更加复杂，以适应各种决策任务中的数据和判断的挑战。第二，数据和判断将倾向于成为战略竞争中具有吸引力的目标。因此，涉及人工智能补充的冲突可能会与人工智能替代的设想有很大不同。与快速的机器人战争和军事力量的决定性转变相比，由人工智能驱动的冲突可能会涉及重大的不确定性、组织摩擦和长期争议。因此，对人工智能的更多军事依赖将使战争中人的因素更加重要，而不是更少。

作者

Avi Goldfarb：多伦多大学人工智能和医疗保健领域教授，美国国家经济研究所研究助理。

Jon R. Lindsay：佐治亚理工学院网络安全与隐私学院副教授，萨姆-纳恩国际事务学院副教授。

出版时间

2022年2月25日

1 引言

有一个新的政策共识，即人工智能（AI）将改变国际政治。正如美国国家安全委员会在2021年关于人工智能的报告中所说："机器比人更快、更准确地感知、评估和行动的能力，在任何领域--民用或军用--都是一种竞争优势。人工智能技术将成为利用它们的公司和国家的巨大力量源泉。"然而，对基本概念的不明确，使评估人工智能的安全影响变得复杂。人工智能也有多种含义，从大数据、机器学习、机器人和致命的无人机，到全面的 "第四次工业革命"。

在这篇文章中，我们将重点放在机器学习上，它是在媒体、管理学和经济学文献中受到关注的关键人工智能技术。我们撇开关于通用人工智能（AGI），或与人类智能相匹配或超过人类智能的系统的辩论。成功的民事应用包括导航和路线规划、图像识别和文本翻译以及有针对性的广告。迈克尔-霍洛维茨(Michael Horowitz)将人工智能描述为 "终极推动者"，用于实现从公共管理和商业业务到战略情报和军事战斗等各种决策任务的自动化。

技术经济学文献中的一个重要见解是，与一项新技术的互补决定了它的影响。从这个角度来看，人工智能不是人类决策的简单替代品。机器学习的快速发展改善了统计预测，但预测只是决策的一个方面。决策的另外两个重要因素--数据和判断--代表了对预测的填补。就像便宜的面包扩大了黄油的市场一样，人工智能的进步降低了预测的成本，使其补充更有价值。人工智能预测模型需要数据，而准确的预测需要更多、更好的数据。高质量的数据提供了大量的相关信息，没有系统性的偏见。数据驱动的机器预测可以有效地填补优化给定效用函数所需的信息，但效用函数的规范最终依赖于人类对究竟什么应该最大化或最小化的判断。判断决定了什么样的模式和结果是有意义的，什么是利害关系，对谁，在什么情况下。明确的判断是事先规定好的，并得到相关利益者的同意。当高质量的数据可用，并且一个组织可以阐明明确的判断，那么人工智能可以改善决策。

我们认为，如果人工智能使预测对军事组织来说更简单，那么数据和判断将变得更有价值，也更有争议。这一论点有两个重要的战略意义。首先，使人工智能在商业领域取得成功的条件--高质量的数据和清晰的判断--可能并不存在，或在相同程度上存在于所有军事任务。在军事方面，判断包括指挥意图、交战规则、行政管理和道德领导。这些功能无法通过狭隘的人工智能技术实现自动化。因此，对人工智能的日益依赖，将使人对军事力量更加重要，而不是减少。其次，数据和判断力的重要性为战略竞争者创造了改进、保护和干预信息系统和指挥机构的动力。因此，关于信息的冲突将变得更加突出，而组织协调将变得更加复杂。与关于快速机器人战争和军事优势的决定性转变的假设相比，我们预计人工智能驱动的冲突将以环境不确定性、组织摩擦和政治争议为特征。因此，人工智能补充物的竞争可能会与想象中的人工智能替代品战争不同。

关于人工智能的许多希望和担忧重述了早期关于军事领域信息技术革命（RMA）和网络战争的观点。关于商业创新的变革性影响、网络计算的速度和危险性、进攻对防御的主导地位以及崛起的中国对脆弱的美国的优势等熟悉的套话比比皆是。但怀疑论者对这些关于RMA和网络战争的假设的逻辑和经验基础都提出了系统性的挑战。关于信息技术，表面上看似合理的论点往往忽视了影响数字系统使用的重要组织和战略因素。与经济学文献一样，关于军事创新的学术研究的一个首要主题是，技术不是军事力量的简单替代品。此外，实施过程中通常会出现摩擦、意外的后果和令人失望的结果。因此，RMA和网络辩论为有关人工智能的主张提供了一个警世的故事。就像任何其他信息技术一样，期望组织和战略背景对自动化系统的性能产生影响是合理的。

然而，人工智能可能看起来有所不同，因为人类机构处于伦理道德危险之中。最近的学术研究对自动决策的前景提出了一系列的问题。人工智能是否会破坏威慑和战略稳定，或侵犯人权？国家和联盟如何维持对自动化战士的控制？人工智能是否会将权力的平衡从现任者转向挑战者，或从民主国家转向专制国家？关于军事人工智能的文献较少关注人工智能的补充物，即利用自动化决策的优势和减少风险所需的组织基础设施、人的技能、理论概念和指挥关系。

在这篇文章中，我们挑战了人工智能替代背后的假设，并探讨了人工智能补充的意义。一支由致命的自主武器系统组成的军队很可能会破坏稳定，而这样一支军队很可能对民主国家和专制国家都有吸引力。然而，机器将取代战士的想法，代表了对战士实际工作的误解。我们认为，如果不首先澄清人工智能所要解决的问题，预测激进的战略后果是不成熟的。我们提供了一个框架，解释人工智能的补充（即数据和判断）如何影响决策。一般来说，当高质量的数据能够与清晰的判断相结合时，自动化是有优势的。但是，指挥、射击和机动这些军事任务充满了不确定性和混乱。相比之下，行政和后勤方面更多的制度化任务往往有大量的数据和明确的目标，这有利于自动化。我们认为，如果军队将这些条件混为一谈，在不确定的情况下过早地为自主系统提供明确的目标，就有可能面临糟糕或悲惨的结果。相反，对于拥有高质量数据但难以判断的情报和行动任务，人类和机器团队可以分配决策的认知负荷。我们预计许多（如果不是大多数）军事人工智能任务将属于后一种类型，我们将其描述为人机合作。我们认为，最终的结果是，数据和判断将变得越来越有价值和有争议，因此，由人工智能支持的战争将倾向于变得更加持久和令人困惑。

我们分五个部分来阐述这一论点。首先，我们概述了我们的分析框架，该框架将决策的普遍过程与其可变的政治和技术背景区分开来。这个框架解释了数据和判断如何影响决策中的人机分工。其次，我们描述了在商业和军事事务中不同的战略和制度条件是如何塑造数据的质量和判断的难度的。然后，我们将这些因素组合成人工智能执行决策任务的四个不同类别，并以商业和军事实例加以说明。倒数第二节讨论了数据和判断变得更有价值的战略意义。最后，我们对论点和进一步的影响进行了总结。

2 决策的政治和技术背景

商业和军事组织在很多方面都很相似，但它们的运作环境却非常不同。在图1中，我们通过将决策的经济模型嵌入到国际关系框架中来分析区分人工智能相关的相似性和差异。战略环境和组织机构分别影响数据和判断的质量。同时，机器学习的创新--主要由民用部门推动--降低了预测的成本。

图1 军事组织中决策的战略背景（The Strategic Context of Decision-Making in Military Organizations）

2.1 政治背景：环境和机构

我们采用国际体系和（美国）国内机构之间的标准国际关系区分。图1中的 "战略环境"是指一个军事组织面临的外部问题。为了通过征服或拒绝来改变或维护当地的事实，军队需要关于许多事情的信息，如国际力量平衡、外交结盟和联盟、地理地形和天气、敌人的作战能力和部署，以及与民间社会的互动。这些外部事务构成了军事行动的威胁、目标、机会、资源和限制。军队也需要有关内部事务的信息，如友军的能力和活动，但这些都是达到目的的手段。战略环境最终是军事数据的内容，而环境的结构和动态会影响数据的质量。

图1中的 "制度和偏好（Institutions and preferences）"是指军事组织解决其战略问题的方式。这一总体类别包括官僚结构和程序、军种间和联盟政治、军民关系、与国防工业的互动以及其他国内政治。这些因素中的任何一个都可能影响军事组织的目标和价值观，或影响其对特定情况的解释方式。组织机构体现了偏好，无论其来源如何，这反过来又影响了判断的质量。制度结构和程序可能产生协调问题、政治争议或解释上的困难，使军事组织难以弄清什么是重要的和为什么重要。

此外，正如下文所讨论的，我们预计在一些军事决策任务中采用人工智能将（内生地）影响战略环境和军事机构的时间。随着数据和判断力变得更有价值，战略竞争者将有动力去改进和争夺它们。因此，我们预计对信息的冲突将变得更加突出，而组织协调将变得更加复杂。

2.2 技术背景：作为预测的机器学习

自2000年以来，人们对人工智能的兴趣再次升温，这是由一个叫做机器学习的子领域的快速发展所推动的。与 "老式人工智能"（GOFAI）相比，机器学习技术代表了一种不同的方法。GOFAI强调演绎定理证明和搜索优化。相比之下，机器学习是一种统计预测的形式，即使用现有数据来归纳产生缺失信息的过程。虽然预测一词通常意味着对未来的预测，但模式识别和对象分类也是预测的形式，因为它们填补了第一次遇到的情况信息。机器可以将今天人类执行的许多预测任务自动化（例如，图像识别、导航和预测），它们还可以增加预测的数量、准确性、复杂性和速度。这有可能改变人类的工作流程。虽然机器可能不会做决定，但它们可以改变谁做什么决定以及何时做决定。随着机器学习降低了预测的成本，各类组织机构也在创新方法来改善数据和判断，以便做出更好的决定。

预测通常涉及从一组训练数据中进行归纳，对新数据进行分类或综合。在21世纪初，计算、内存和带宽的改进显然可以使机器学习在商业上可行。像谷歌、亚马逊和Facebook这样的公司，通过将他们从消费者行为中获得的 "大数据 "与自动预测技术相结合，成功地锁定了他们的广告和数字服务。这些发展也使间谍活动和监视活动达到了前所未有的规模。

从经济角度来看，现代人工智能最好被理解为一种更好、更快、更便宜的统计预测形式。然而，对决策的整体影响是不确定的。这意味着组织，不管是军事组织还是其他组织，在未来能够比今天进行更多的预测，但不一定在所有情况下他们的表现都会改善。

2.3 决策过程

经济决策理论是与控制论的知识传统同时出现的。正如赫伯特-西蒙在60多年前指出的那样，"现实生活中的决策涉及一些目标或价值，一些关于环境的事实，以及从价值和事实中得出的一些推论。"我们将这些要素描述为判断、数据和预测。它们共同产生了影响经济或政治结果的行动。行动的反馈产生了更多的数据，这些数据可用于更多的预测和决策，或用于重新解释判断。军事理论中所谓的OODA循环也体现了同样的思想。决策周期支配着各种决策任务，从琐碎的（拿起一支铅笔）到深远的（战争动员）。抽象的决策模型对实施是不可知的，这意味着决策逻辑可以通过有机的、组织的或技术的成分来实施。

然而，实施恰恰是人工智能的关键所在。因此，图1说明了数据、判断、预测和行动如何影响决策中的人机分工。我们强调决策中的人机分工，是因为人工智能的具体任务实施会产生重大影响。控制论决策的普遍性解释了为什么许多人认为人工智能是一种通用技术，就像电力或内燃机一样。人工智能确实可以改善预测，这是任何一种决策的重要输入。但人工智能并不是唯一的输入。组织也依靠数据和判断来做出特定任务的决策。简而言之，人工智能是一种通用技术，在特定情况下表现不同。

2.4 人机分工

在分析或部署人工智能时，有必要考虑服务于特定目标的特定任务。机器学习不是通用人工智能（AGI）。因此，我们的分析单位是决策任务，也就是产生特定组织结果的数据、预测、判断和行动的集合体。大多数组织执行许多不同的、相互关联的任务，如战略、管理、人力资源、营销、网络管理、制造、运营、安全和后勤。这些任务的军事类似物包括指挥、行政、训练、情报、通信、火力、机动、保护和维持。在这些类别中，还有无数不同的战术、技术和程序。这些任务中的任何一项，无论其范围或规模如何，都可以直接或间接地支持一个组织的总体任务，而这个任务可能是明确的，也可能是不明确的。事实上，一项任务本身也可能定义不清，部分原因是任务分解是管理判断的问题。

人工智能在任何特定任务中的表现都是数据质量和判断难度的函数。这两个补充因素为自动决策提供了基本的背景。如果相关的信息是大量可用的，并且没有系统性的偏见，那么数据就是高质量的。如果目标可以事先明确规定，并且利益相关者对其达成一致，那么判断就很明确。

数据质量的高低，判断的清晰与否，决定了人类和机器在决策中的比较优势。相反，替代品只决定了自动化的技术潜力（即通过降低预测或行动的成本）。表1总结了数据和判断对人工智能性能的影响。人工智能对未来战争的影响必然是推测性的，这使得从一个坚实的演绎基础上进行理论化更加重要。

表1 数据和判断对决策自动化的影响

3 商业和战争中的人工智能互补性

对民用人工智能系统的大量实证研究验证了人工智能取决于高质量的数据和清晰的判断这一基本发现。在决策确实是一种普遍活动的范围内，期望其模型适用于军队是合理的。但我们提醒不要从商业世界归纳到军事事务（反之亦然）。商业和军事组织在不同的背景下执行不同的任务。"胜利 "或 "安全 "这样的目标比 "股东价值 "或 "利润 "更难界定。战斗人员试图从肉体上摧毁他们的竞争对手，而失败的后果可能是存在的。

人工智能在许多商业情况下被成功应用的一个未受重视的原因是，高质量的数据和清晰的判断力的有利条件经常存在。和平的商业通常是在制度化的环境下进行的。法律、产权、合同执行机制、多样化的市场、共同的期望和共同的行为规范都有利于买方和卖方。这些制度特征使交易更加一致和高效。反过来，一致性也为完全自动化提供了必要的支架。我们期望人工智能在更多的制度化环境和更多的结构化任务中更加成功。

相比之下，战争发生在一个更加混乱的环境中。根据现实主义的思想传统，在国际体系中，没有合法的总体机构来裁决争端，执行国际协议，或约束行为。盟国和对手都有动机歪曲自己的能力和利益，并出于同样的原因怀疑他人的欺骗行为。军事化危机和冲突充满了秘密和不确定性。战争的目的是有争议的，顾名思义，它们调动了国家的激情，无论好坏。

我们预计，战争中缺乏约束性机构，会破坏高质量数据和清晰判断的人工智能有利条件。一个证明规则的例外是，军事官僚机构可能能够为一些军事任务提供支架。换句话说，强大的组织机构可能会取代薄弱的国际机构。然而，在固有的不确定和有争议的战争环境中，组织机构能够完成的任务是有限的。数据和判断的具体背景将决定任何特定任务的自动化可行性。

3.1 数据和战略环境

商业人工智能系统通常需要成千上万，甚至数百万或数十亿的例子来产生高质量的预测。正如深度学习先驱杰弗里-辛顿所说："就拿任何你必须预测的老问题来说，如果你有大量的数据，深度学习可能会使它比现有的技术更好。"对大量数据的需求，以及标记和描述其内容的详细元数据，是众所周知的。但对高质量数据的需求却不太被重视。有两个因素会破坏数据的关联性。首先，数据可能偏向于某个人群或情况。其次，关于被预测的特定情况的数据可能不存在。后一种情况出乎意料地经常发生，因为当预测能让人了解到如果一个组织改变其行为会发生什么时，预测就特别有用。如果该组织从未以某种方式行事，那么相关的数据就不存在，相关的统计预测就会失败。

竞争者或对手可以通过操纵数据来制造偏见或阻断数据的供应，从而加剧数据相关性的问题。如果对手找到了访问和破坏用于训练人工智能系统的数据的方法，那么预测就会变得不那么可靠。更广泛地说，如果人工智能在优化任何特定问题的解决方案方面变得很好，那么聪明的敌人就有动力去改变问题。用人工智能的说法，敌人会 "超越训练集"，创造一个在机器学习的数据中没有先例的情况。敌人可以创新出人工智能系统难以发现的新战术，或者追求人工智能系统无法预料的目标。

战争中的不确定性来源很多（例如，恶劣的天气、不熟悉的地形、糟糕或遗漏的情报、误解、敌人的欺骗）。正如卡尔-冯-克劳塞维茨的名言："战争是不确定的领域；战争中行动所依据的四分之三的因素都被包裹在或大或小的不确定的迷雾中。"克劳塞维茨还用 "摩擦 "这一机械比喻来描述组织的崩溃。信息技术中的 "摩擦 "也会造成 "迷雾"，因为为提高确定性而采用的相同系统会成为不确定性的新来源。网络化组织中的军事人员努力连接系统，协商数据访问，定制软件，保护信息安全。计算机故障和配置问题往往 "累积起来，最后产生一种除非经历过战争否则无法想象的摩擦。"对战时实践的经验性研究显示了大量创造性的黑客行为，以修复和重塑技术，处理信息时代战争中的巨大摩擦。为控制这些风险而进行的管理干预会产生更多的摩擦。我们认为，旨在 "拨开战争迷雾 "的人工智能系统同样可以轻易地将迷雾 "移"回组织中。

虽然战争中充满了不确定性，可能会扭曲或破坏数据，但我们预计数据的质量会因任务和情况而异。换句话说，战略环境的微观结构是非常重要的。我们期望有关友军的数据更加可靠，因为指挥官可以授权报告格式和时间表。我们期望后勤和行政报告比作战报告更可靠，因为后者更容易受到敌人的影响。关于敌人的部署和能力的情报应该更不可靠。即便如此，关于 "谜团"（如武器系统的位置和能力）的情报可能比关于 "谜团"（如未来的意图和国家决心）的情报更可靠。敌人的欺骗或假情报行动往往会破坏数据的质量，为了狭隘的利益而将情报政治化也是如此。评估数据的具体战略背景，以及人工智能对任何特定决策任务的适用性是至关重要的。

3.2 判断和军事机构

即使有足够的正确类型的数据，人工智能仍然依靠人们来确定预测什么和为什么。例如，商业公司在确定其商业模式、公司价值、劳资关系和谈判目标时，会做出许多不同的判断。军事组织面临类似的管理挑战，但他们也面临独特的挑战。军事判断还包括国家利益、政治偏好、战略任务、指挥官的意图、交战规则、战斗伦理和武术社会化。由于战争的代价和后果是如此深远，所有这些问题往往都带有模糊性、争议性和痛苦的权衡。因此，在军事事务中，判断变得更加困难，而且后果越来越严重。

有三种类型的机器学习算法，都需要人的判断。首先，在 "监督式学习 "中，人类告诉机器应该预测什么。第二，"无监督学习"需要判断对什么进行分类以及如何处理这些分类。第三，"强化学习"需要预先指定一个奖励函数。奖励函数为感知到的世界状态分配一个数字分数，以使机器能够最大化一个目标。更复杂的策略可以通过建立追求主要目标的工具性目标来结合这些方法。在每一种情况下，人类最终会对算法进行编码，并为机器定义奖励。

在经济学术语中，判断是对效用函数的规范。决定效用的偏好和评价与使其最大化的策略不同。举个微不足道的例子，那些不介意被淋湿而不喜欢带伞的人，无论天气预报如何，都不会带伞。不喜欢淋雨又不介意带伞的人可能会在包里放一把伞。如果下雨的几率是75%，其他人可能会带伞，但如果是25%，则不会。对雨的预测与对淋雨或准备淋雨的偏好无关。同样地，人工智能对臭名昭著的 "手推车问题 "的变体提出了一个关于生死选择的伦理困境。例如，一辆自动驾驶汽车是否应该转弯以避免碾压四个儿童，而冒着杀死其人类乘客的风险？如果人工智能预测，无论哪种情况都会有人死亡，如果所有的生命都同样有价值，那么汽车就应该转向，但如果乘客的生命价值至少是一个随机儿童的四倍，那么它就不应该转向。这种困境低估了其中判断的复杂性。事实上，人工智能的伦理困境重新激活了对功利主义推理的长期批评。正如Heather Roff所指出的，"我们不能谈论道德的人工智能，因为所有的人工智能都是基于经验性的观察；我们不能从'是'中得到'应该'。如果我们对如何构建、设计和部署人工智能有清醒的认识，我们就会得出结论，围绕其发展和部署的所有规范性问题都是人类几千年来一直提出的问题。"

如果电车问题看起来很牵强，请考虑一下亚利桑那州坦佩市一辆自动驾驶的Uber汽车杀死一名骑自行车的人的案例。人工智能预测到人类在其路径上的概率很低，但不是零。该车的设计有一个忽略低概率风险的阈值。不撞人的优先级是很明显的。然而，如果错误容忍度设置为零，汽车将无法行驶。在哪里设置容错是一个判断的问题。在这种情况下，似乎预先指定的判断对于当时的环境来说是非常不合适的，但预测机器完全没有概念，不知道什么是危险。

一个规范的人工智能效用函数有两个特点。首先，目标是事先明确定义的。如果设计者不能正式规定所有情况下的报酬和优先级，那么每一个预测都需要一个定制的判断。在医疗应用中经常出现这种情况。当有许多可能的情况时，往往需要人类在看到诊断结果后进行判断。判断不能事先确定，因为要明确所有可能的突发情况需要太多的时间。这种动态或细微的情况实际上需要不完整的合约，即撇开复杂的、针对具体情况的细节，以便以后谈判。因为所有情况都不能事先规定，所以需要在看到预测后作出判断，以解释协议的精神。

不完整合约的军事版本是 "任务指挥"，它规定了军事目标和交战规则，但授权当地人员解释指导，协调支持，并根据情况的发展调整行动。标准操作程序、理论模板和明确的协议通过详细说明操作和设备处理，有助于提高行动的可预测性。然而，在有不可预测的对手的动荡环境中，标准化的任务指令可能是不合适的。军事行动中出现不确定性和意外的可能性越大，地方指挥官就越需要发挥主动性和谨慎性。用克劳塞维茨的话说，战场上的 "迷雾 "和组织中的 "摩擦 "要求指挥官发挥 "天才"的作用，即 "一种提高到惊人程度的判断力，它能轻易掌握和排除无数种遥远的可能性，而普通人的头脑会努力去识别这些可能性，并为此耗尽自己。" "天才 "在任务指挥中的作用在现代联合武器战争和多领域行动中变得特别重要，而且特别具有挑战性。当所有可能的因素组合都不可能事先确定时，人员必须在现场发挥创造力和主动性。现代军事行动倾向于混合两种风格的元素，让地方指挥官在如何解释、实施和结合事先已经标准化、制度化和演练过的工具、战术和程序方面拥有自由度。

明确的人工智能效用函数的第二个特点是，所有的利益相关者应该就追求什么目标达成一致。当人们难以就优化什么达成一致时，评估或汇总不同偏好的透明机构程序可能有助于验证指导人工智能系统的决定或使其合法化。不幸的是，随着 "天才 "在地理上的分布、社会上的协作和技术上的要求越来越高，共识变得难以捉摸。在阿富汗师级指挥的民族志中，安东尼-金写道："一个将军必须定义一个任务，管理由它组成的任务，并激励部队。"这三个因素中的第一个--指定积极目标和消极限制--是判断的完美函数；人工智能在这方面提供的帮助很少。人工智能可能为第二个因素提供一些支持，即监督和管理，这涉及到判断和预测的混合。第三个因素是领导力，从根本上说，这是一个判断问题，因为领导者试图在整个组织中实现共同的目的、价值观和解释。同样，人工智能对领导力问题没有什么用处，随着组织在地理和职能上的分布，领导力问题变得更加重要。"事实上，在所有三个领域--战略、管理、领导--中，"决策已经激增"，因为 "指挥官不能再单独指挥行动。"据安东尼-金说，指挥官现在不再是一个中央控制者，而更像是一个协调 "指挥集体 "复杂互动的社会焦点。

然而，集体指挥是一个集体行动问题。在某些情况下，标准操作程序和社会化仪式可以简化判断任务。安东尼-金发现，"指挥小组、指挥委员会、主要规划小组和副手已经出现，以协助和支持指挥官，并管理指挥官无法参与的离散决策周期。"然而，在其他情况下，来自不同部门、分支或单位的人员可能对如何解释甚至是基本的战术、技术和程序产生分歧。当任务分配超出专业人员认为正确或适当的范围时，分歧可能会变成争议，例如，当军队被赋予反叛乱的任务，空军被赋予近距离空中支援的任务，或者文化偏好的冲突。任何加剧军事机构中的混乱或分歧的因素都会使人工智能自动化的判断更加困难。

4 AI在军事决策任务中的表现

正如我们在前几节所解释的，决策是一个普遍的过程，但决策输入是针对具体环境的。即使所有组织都可以使用相同的人工智能技术，使人工智能在商业领域取得成功的战略和制度条件可能不存在于战争中。因此，我们推断出关于数据和判断的关键人工智能补充的两个一般假设。首先，稳定、合作的环境更有利于产生丰富、无偏见的数据；相反，动荡、竞争的环境往往会产生有限、有偏见的数据。第二，机构的标准化和团结鼓励明确的、一致的判断；反之，特异的地方实践和内部冲突导致模糊的、有争议的判断。

这些假设的组合描述了人工智能在军事决策任务中表现的四种不同制度。表2通过将决策背景（图1）中的战略和制度综合输入到关键军事职能的人机分工（表1）中，总结了这些类别。人工智能表现的最佳情况是我们所说的 "自动化决策"。在高度常规化的行政和后勤任务中，最有可能获得高质量的数据和清晰的判断，这些任务更类似于民事组织任务。凡是官僚机构能做好的事情，人工智能可能都能帮助他们做得更好。人工智能的最坏情况是相反的象限，在这个象限里，两种自动化的补充都不存在。我们给这个类别贴上 "人类决策 "的标签，因为人工智能无法完成以有限的、有偏见的数据和模糊的、有争议的判断为特征的任务。对于军事战略和指挥任务，克劳塞维茨所说的环境中的 "迷雾 "和组织中的 "摩擦 "的极端情况需要人类的 "天才"。在其他两个象限，其中一个必要的补充是存在的，但另一个缺乏，人机分工更加复杂。 "仓促的自动化"这一类别描述了机器在不确定的环境中收到明确目标的情况。如果快速的自动化决策与致命的行动紧紧相连，这就是灾难的源头。不断变化的形势和人工智能系统中编码的决定之间的不匹配可能不会被人类立即发现，这加剧了悲剧性结果的风险，如目标错误或无意中的升级。在 "人机合作 "的相反类别中，判断任务是困难的，但有高质量的数据。人工智能决策辅助工具（如图形、表格、地图覆盖、图像注释和文本摘要）提供预测，增强但不取代人类的决策，而人类对人工智能的缺陷保持健康的怀疑态度。许多作战计划和情报分析任务以及战术任务支持工具都属于这个类别。为了证明我们框架的合理性，我们接下来提供一些商业案例，并探讨每一类的潜在军事应用和进一步影响。

表2 战略和制度条件如何影响Al在军事任务中的表现

4.1 自动化决策

如果有高质量的数据和明确的判断，决策的完全自动化可以提高绩效。例如，澳大利亚的皮尔巴拉地区有大量的铁矿石。这些矿区远离任何大城市，当地的条件往往非常炎热，人类在那里工作是很危险的。自2016年以来，矿业巨头力拓公司已经部署了几十辆自动驾驶卡车。这些卡车节省了运营成本，同时减少了人类操作员的风险。这种自动化是可行的，因为相对于手头的需求，数据是丰富的--卡车每天都在相同的道路上行驶，人类活动方面很少有意外。因此，数据收集被限制在少数障碍物较少的道路上。人工智能的主要任务是预测道路是否畅通。一旦做出这种预测，判断就很明确，而且很容易事先指定：如果道路畅通，就继续；如果不畅通，就停下来等待。在其他成功的自动化例子中，机器人摄像机已被部署在各种场合，包括在篮球比赛、游泳比赛和 "跟随我 "的空中无人机中。

我们期望人工智能能在军事任务中发挥作用，并有明确的民用类似物。虽然关于军事人工智能的流行辩论主要集中在自动武器方面，但许多有前途的应用可能会被设计成支持官僚机构的功能。除其他外，官僚机构负责收集和处理数据的计算系统，以使行动更加清晰、可预测和可控制，因此军事组织中最官僚化的部分是计算自动化的良好候选者。行政事务往往是重复性的，这就产生了大量的高质量数据，可用于训练和预测。组织被标准化所吸引，因为它使他们的设备、程序和人员更容易被统计、比较和控制。程序上的标准化也约束了组织行为，这使管理者更容易事先指定判断。此外，和平时期的行政任务在某种程度上较少受到战场动荡的影响，减少了对最后一刻的解释要求。

我们期望自动化能够提高常规化活动的效率和规模，这些活动需要填补缺失的信息，衡量技术性能，跟踪人员，并预测未来的需求。事实上，人工智能可以加强许多与制定预算、招募和培训人员、识别领导潜力、安排单位名册、设计和采购武器系统、计划和评估演习、关心服务人员及其家属的士气和福利，以及为服务人员和退伍军人提供医疗保健相关的常规任务。这些内部摩擦破坏了行政自动化的成功条件。

物流供应链也可能是自动化的良好候选者。事实上，像DHL和联邦快递这样的公司已经利用人工智能来精简他们的交付网络。标准化的零件、消耗率、重复性交易和预防性维护计划产生了关于定义任务的丰富数据。利用历史性能数据，预测性维护系统可以监测消耗率，并在武器或平台损坏前自动订购替换零件。例如，美国空军的一个系统使用预测算法来决定机械师应该在什么时候进行检查，这使他们能够为每架飞机量身定做维护和修理，而不是遵守通用的时间表。但我们认为，在战争中预测及时交付的供应和需求将更加困难。虽然官僚们可能与战场上的动荡隔绝，但供应线却更加暴露。敌人可以拦截或破坏物流。由于战时的损耗会消耗备件，各单位可能会争论哪个单位应该被补给。友军单位可能会采用非常规的方式使用平台和零件。所有这些动荡将导致预测失败，这基本上将人工智能转移到下面讨论的过早自动化的范畴。然而，如果组织为了追求效率而用人工智能系统消除闲置资源，那么当系统遇到不可预见的情况时，他们可能会牺牲效率。

总而言之，我们希望人工智能对那些在官僚体制下不受战场动荡影响的常规任务的自动化最为有用。重复性和标准化的行政和后勤任务更有可能有高质量的数据和明确的目标。人类仍然提供判断来定义这些明确的目标，但这是提前发生的。尽管这些条件是自动化的理想条件，但在实践中可能难以实现，特别是在有争议的资源和人事决定的情况下。因此，即使是可轻易实现的应用也往往会落入表2的其他三个类别，特别是人机合作。

4.2 人类决策

在另一个极端，对于数据质量不高、判断困难的情况，人类仍然做出所有决定。如果没有高质量的数据，机器预测就会退化。幸运的是，由于在这一类别中判断也很困难，所以几乎没有自动化的诱惑。这一类没有商业案例，因为我们还没有看到人工智能系统成功地创立公司，领导政治运动，或自己制定法律先例。如果没有高质量的数据和明确的判断，这样的机器将没有什么用处。只要机器学习的进展最好被理解为预测方面的改进，而不是AGI，那么这一类的任务就需要人类。然而，人并不总是能做出好的决定，成功的决定取决于许多不同的心理和社会因素，再加上好运气。

战略中充斥着复杂而有争议的政治和道德判断。什么是值得争取的，或者是值得妥协的？什么时候应该拥护或放弃盟友？什么时候黄油比枪支更有价值，什么时候威慑的稳定性胜过对权力的追求？为了什么国家利益，人应该被激励去杀人，去牺牲？什么时候杀人者应该表现出克制？这些问题的答案来自许多方面，如意识形态、心理学和国内政治，但它们并不来自机器。人工智能系统可能会赢得像危险游戏、围棋和复杂的视频游戏。战争与一些游戏有一些共同的特点，如战略竞争和零和报酬。但战争不是游戏。游戏是由制度化的规则定义的，但在无政府状态下，制度的失败会引起战争。

用克劳塞维茨的术语来说，战争是使用暴力将自己的意志强加于一个反应迟钝的对手。政治理性、民族激情和随机机会的相互作用使战争具有混乱的性质。好奇心、创造力、勇气和毅力成为重要的性格特征，更不用说同情心、仁慈和怜悯心。每当 "迷雾 "和 "摩擦 "最大，并且最需要人类的 "天才 "时，人工智能的作用就不大。人类在这些情况下也会经常失败，但至少他们有一个战斗的机会。

人工智能系统可能仍然能够通过提供决策辅助工具来支持战略和指挥，改善决策的情报、规划和行政投入。然而，这只是强调了将决策任务分解为人工智能可以支持的子任务和人类必须执行的子任务的重要性。判断任务的划分本身就是一种判断行为。对于战略和指挥中常见的流动的、模糊的或有争议的做法，数据、判断、预测和行动的界限可能难以区分，更不用说与其他决策任务区分了。在这些情况下，判断力变得更加重要。

4.3 不成熟的自动化

在完全自动化和完全人工决策的两个极端之间，既有风险也有机会。过早自动化和人机联手的混合情况产生了对人工智能的大部分担忧和兴奋。在数据质量不高，但机器被赋予明确目标并被授权采取行动的情况下，对人工智能的依赖尤其具有风险。当授权采取致命行动时，风险是最大的。如果数据有偏差或不完整，那么最好让人类而不是机器来解释不断变化的情况（即人类决策）。然而，如果人类错误地认为数据是丰富和无偏见的，那么他们可能错误地认为关键任务可以委托给人工智能（即自动化决策）。自动化似乎具有诱惑力的可行性，但奖励功能的定义未能跟上决策环境的重要变化。在动荡的环境中清晰的判断会产生隐患。

一个不成熟的自动化的例子是，亚马逊建立了一个人工智能系统来帮助其招聘过程。判断似乎很清楚：机器应该选择那些有可能在公司取得成功的工人。亚马逊收到了数以千计的简历，一个更好的筛选工具可以将人类招聘人员花在筛选简历上的许多时间自动化。我们有理由乐观地认为，这种自动化将减少偏见，产生更高质量和更多样化的候选人。不幸的是，亚马逊过去的申请和招聘做法意味着数据中没有足够的成功女性申请人的例子。由于没有成功的女性申请者的数据，人工智能了解到亚马逊不应该雇用女性，因此它筛选出了包含 "女性 "一词的简历。组织流程中现有的偏见产生了有偏见的人工智能训练数据。幸运的是，亚马逊管理层意识到，人工智能加剧了而不是解决了亚马逊现有的问题，因此该公司从未部署这一人工智能工具。

数据也可能是有偏见的，因为它们是基于预测机器可能不理解的决定。例如，一个早期的国际象棋人工智能是在数千场大师级比赛中训练出来的。在部署时，该程序在游戏的早期牺牲了它的皇后，因为它了解到这样做的特级大师往往会赢。然而，人类特级大师只有在这样做能产生明确的胜利途径时才会牺牲他们的皇后。虽然这个问题在人工智能国际象棋中已经得到解决，但潜在的挑战仍然存在。即使效用函数是明确的，训练数据也往往是人类决策中默示假设的结果。有时这些人类决策--例如在国际象棋中牺牲皇后--会产生有偏见的数据，导致人工智能预测失败。

与国际象棋相比，在军事领域，过早自动化的风险更加极端（例如自相残杀和平民伤亡），但逻辑是一样的。军队里有很多指导使用致命能力的标准操作程序和战术理论（例如，武器平台的安全操作说明、战术演习的游戏手册和使用武器的政策）。在目标和任务参数可以明确规定的程度上，战术行动似乎是有吸引力的自动化候选。此外，如果作战时间被极度压缩，那么自动化就显得更加紧迫了。致命的自主武器系统利用预测来导航复杂的环境，以便在人类操作者提供的约束条件下到达目的地或跟踪目标。它们的目标定位系统基于识别有效目标的训练数据进行预测。使用算法，机器可以在远比人类视觉识别更远的距离上快速准确地识别目标，而且算法目标识别可以与传感器一起使用，以减少反应时间。

许多具有人工智能功能的武器已经或即将出现。以色列的 "哈比"游荡弹药可以搜索并自动攻击目标，中国也有类似的 "智能化"巡航导弹的计划。美国一直在探索人工智能在所有作战领域的作战应用。在空中，"Loyal Wingman"计划将无人驾驶的F-16与有人驾驶的F-35或F-22配对，以探索使用人类指挥自主飞机的可行性，如XQ-58A Valkyrie。在海上，美国海军的LOCUST项目探讨了发射成群的消耗性地对空无人机的可行性。国防部高级研究计划局（DARPA）的连续跟踪无人船项目旨在搜索敌方导弹潜艇，并自动跟踪它们几个月，定期报告其位置。在陆地上，美国海军陆战队的 "战争机器人公司"配备了小型机器人网络，可以提供分布式传感和精确射击。自动反击炮弹的反应，准确地报复攻击的源头，可以使人类指挥官在攻击后有余地专注于第二和第三阶决策。在网络领域，人工智能系统可能会在网络攻击实时演变的过程中自主学习和反击，正如DARPA的2016年网络大挑战中的Mayhem系统的表现所表明的那样。人工智能对于检测电磁频谱中的新信号和重新配置电子战系统以利用或反击它们可能特别有用。

当作战环境以重要或微妙的方式偏离训练数据集时，误判的风险会增加。偏差的风险随着战略环境的复杂性和竞争性而增加，而误判的代价随着自动化行动的致命性而增加。机器试图优化一个特定的目标，但在错误的背景下，这样做会导致假阳性。人工智能武器可能无意中要么针对无辜平民或友军，要么引发敌对的报复。在这些情况下，人工智能将有权力杀人，但却不了解其后果。在核领域，风险尤其明显。核战争是最罕见的事件--保持这种状态是核威慑的全部意义--所以人工智能系统的训练数据要么不存在，要么是合成的（即基于模拟）。人工智能系统在面对不确定或新的情况时，任何误解或误判的倾向都可能产生灾难性的后果。

对于本节所回顾的大多数例子，人类应该在个案的基础上调整目标，以避免完全自动化的大量操作风险。DARPA空战演化（ACE）计划，在模拟斗狗中训练人工智能飞行员，强调了当人工智能在快速变化的背景下被赋予过多的决策自主权时可能出现的风险。"在AlphaDogfight试验中，组织者一度扔进一枚巡航导弹，看看会发生什么。巡航导弹遵循预先设定的飞行路线，因此它们的行为比驾驶喷气机更简单。人工智能飞行员对此很纠结，因为矛盾的是，他们在早先的一轮比赛中击败了导弹，现在是为更高要求的威胁而训练的。"像这样的实验鼓励ACE把重点放在 "有人-无人团队"上，而不是完全自主。然后，工程上的挑战是正确划分预测和判断的认知负荷（即把任务分解成不同的子任务），以便更快的机器和有思想的人类能够发挥他们的优势。这些例子表明，来自低质量数据的自动化风险增加了人类谨慎判断的重要性，并使人类与机器联手。在任何特定决策的具体背景下，需要人类来识别数据的不完整性或偏见，并就如何对可能不准确的预测采取行动提供判断。对于许多战术火力和机动任务来说，完全自动化的风险太大，但人的密切监督可能能够减轻这种风险。

4.4 人机合作

如果有高质量的数据，但判断是困难的，那么如果人类首先告诉机器该怎么做，人工智能仍然可以提供预测。我们将这一类别描述为 "人机联手"，因为熟练的人可以使用人工智能来加强决策，但他们必须在敏感或特异的情况下指导和审核人工智能的表现。在这些情况下，高质量的数据将产生可靠的预测。然而，由于预设判断的困难，大多数从业者并不愿意部署完全的自动化，因为他们认识到这样做可能会产生更多的错误决定。

考虑一下税法这个平民化的例子，关于投资收入是否应该作为商业收入或资本收益征税的模糊性。通常情况下，一家公司会聘请一名律师来收集案件的事实，并预测法院可能会发现什么。然后，律师会向客户提供行动方案的建议。一家公司开发了一种人工智能，扫描税法决定，以预测税收责任。该人工智能并不推荐行动方案，因为做出这种判断需要了解客户的风险偏好和在法律体系中的舒适度。人工智能预测了如果案件进入法庭会发生什么，但它不能确定进入法庭是否是一个好主意。这项任务中的法律决定是预测性人工智能和人类律师之间人机合作的产物，后者必须解释预测，以判断什么建议最有利于客户。

出于类似的原因，人机合作应该在情报和规划组织中发展。例如，在遥控飞机（无人机）行动中，信息处理的负担很重，即使是在最高的战术层面。根据Timothy Cullen的人种学研究，"为了驾驶飞机和控制传感器，'死神'和'捕食者'机组人员必须协调16个显示器和4个触摸屏上无数的菜单、窗口和表格的含义、移动和呈现，有4个键盘、2个轨迹球、2个操纵杆和8个杠杆。"Cullen描述了预测和判断的复杂混合物，因为 "操作员在地面控制站中谈判并构建一个受限的环境，以协调任务的口头、打字、书面、图片和地理表述；从飞机的传感器中识别场景的模式；并将这些模式与友好和敌人的活动联系起来。" ISR无人机产生了如此多的数据，"仅2011年就有37年的全动态录像"，"大部分收集的数据都没有得到分析。" 人工智能能够通过持续监测多个数据源和突出感兴趣的模式来减轻一些数据处理负担。然而，Cullen强调了机组人员对他们应该--以及不应该--使用他们的传感器和武器做出许多看似微小的价值判断的方式。换句话说，人工智能提供了对数据的一种补充--预测，但它并没有提供作为决策基础的判断。

原则上，许多情报任务都可能从机器学习中受益。

图像识别算法可以通过无人机的视频资料进行筛选，以确定敌人的活动。面部识别系统可以检测感兴趣的个人目标，而情绪预测算法可以帮助识别拥挤街道上个人的敌意或善意。语音识别、语音合成和翻译系统可以缓解人类和信号情报以及军民关系和信息行动中人类翻译的短缺。一般来说，人工智能很适合分析大量数据和识别模式的情报任务，例如，识别和跟踪恐怖组织或叛乱分子。

在实践中，情报工作往往是艺术多于科学。战略环境或任务目标中不可预见的变化产生了新的数据要求，或者更糟的是，破坏了现有数据的参考完整性。在个案的基础上，从业人员利用他们的主题专业知识和经验来做出判断。将这种判断应用于人工智能预测是一种困难但可学习的技能。人工智能预测只是一个复杂的、有潜在后果的决策过程中的另一个输入。同时，鉴于收集、管理和消费情报的人之间的复杂关系，更不用说长期存在的情报政治化的风险，有很多可能会产生分歧。

一个军事组织不仅需要了解其对手，也需要了解自己。人工智能的前景有时比ISR的指挥和控制（C2）更好，因为友好的组织和程序更容易控制，从而产生更可靠的报告数据。很多工作人员的努力被消耗在搜索数据，向其他组织查询数据，以及根据新出现的信息要求重新分析和重新设置数据上。人工智能可以用来整合来自不同数据库的报告数据，帮助解决矛盾，并在 "共同的行动图景 "中查看活动。人工智能制作的决策辅助工具可以帮助人员分析正在发生的战场状况，运行模拟的行动场景，并提出备选方案供军事指挥官评估。例如，为了确定疏散受伤士兵的最佳方法，军队可以使用基于天气条件、可用路线、登陆地点和预期伤亡的预测模型。人工智能可以通过分析离开部队的报告中的非结构化文本（即散文段落而不是标准化的字段）来改善轮换部队之间的任务交接。ISR和C2报告系统产生了大量潜在的相关数据，但它们很难解释，相关的元数据往往缺失或误导。在这些情况下，高质量的数据可能会产生可靠的预测，但在整个决策过程中需要人为干预和解释。

人机合作往往不仅需要任务执行（即平衡人和人工智能之间的认知负荷），还需要任务设计（即随着情况的变化调整负荷）。从更细的层面来看，在我们的框架中属于人机合作类别的任务可能会被分解成属于框架中其他两个类别的子任务。也就是说，人类从业者将不得不把一项复杂的决策任务划分为完全自动化或完全由人类决策的子任务。这种细分需要对监测和控制过早自动化的风险做出明智的决定。例如，在无人机操作中的人机合作涉及到让无人机和无人机操作员自主地执行某些任务。无人机可能会自动执行飞行任务（即保持航线和方位或重新获取丢失的数据链），而人类无人机操作员可能会考虑合法的目标定位标准。

整体分区（即人类在循环中的位置）应随着时间的推移而调整，这将要求人类注意人类和机器之间的分工与任务环境和组织任务之间的关系。这种平衡将因不同任务和组织之间的相互依赖、数据访问、可解释性和互操作性问题，以及诸如速度、安全、保密性、效率、有效性、合法性、网络安全、稳定性、适应性等相互竞争的优先事项而进一步复杂。重要的是，如图1所示，作为决策任务外生的组织和政治机构确定了这些不同目标的优先次序。人类是所有人工智能系统中判断的最终来源。

5 军事人工智能的战略意义

本文的核心论点是，机器学习正在使预测变得更简单，这反过来又使数据和判断更有价值。这一发现也意味着，高质量的数据和清晰的判断会增强人工智能的性能。这些条件因决策任务而异，但考虑到环境和制度的复杂性，它们在军事情况下通常更难满足。然而，能够满足这些条件的组织可能会获得竞争优势。人的技能是这种竞争优势的核心，这有两个重要的战略意义。

首先，依赖人工智能的军事组织有动力改善数据和判断。这些人工智能的补充是力量的来源。其中至少有一项--判断力--完全依赖于人类。即使在我们的框架中，目标可以被正式指定并预先委托给自动化决策类别的任务，人类也必须设计奖励功能，他们可能会在监测系统性能时重新审视。人工智能的采用可能会从根本上改变判断力的分配，改变一个组织中谁在做决定以及关于什么的决定，但在所有情况下，人类最终负责设定目标，做出权衡，并评估结果。鉴于目前的技术水平，这种情况很快就会改变。另一个补充--数据--也依赖于人类。制定和实施数据政策，需要在数据生产者和消费者之间进行谈判。在构建数据基础设施和管理数据质量时，人们也会做出细微的判断。人工智能系统既不能设计自己，也不能清理自己的数据，这使我们得出结论，对人工智能的依赖增加将使人类技能在军事组织中更加重要。

第二，出于同样的原因，对手有动机使数据和判断复杂化。在一个高度竞争的环境中，组织的优势成为有吸引力的目标和潜在的弱点。由于可预测的对手会发挥人工智能的优势，智能对手的行为也是不可预测的。如果人工智能在一个领域创造了军事力量，对手将在另一个领域创造军事挑战。面对一支拥有人工智能能力的部队，敌人将试图通过破坏预测的质量或使其失去意义来改变游戏规则。因此，随着军事竞争者采用AL，争夺、操纵或破坏数据和判断的战略变得更加相关。 战争的信息和组织层面将继续增加突出性和复杂性。这再次让我们得出结论，更多的军事人工智能将使冲突中人的方面更加重要。

人工的重要性增加，这对关于人工智能和战争的新兴智慧提出了挑战。许多分析认为，人工智能将取代战士完成关键的军事任务，或者推测战争将以机器的速度发生，这反过来又创造了先发优势，激励了侵略并破坏了威慑。这些结果是合理的，但它们是基于对人工智能可替代性的未确定的假设。基于人工智能互补性的冲突可能表现出非常不同的动态。我们认为，考虑人工智能互补性（即数据和判断）的军事化竞争比设想自动化军事力量之间的战争更有用。数据和判断力常年处于危险之中的冲突可能充满了摩擦、争议和意外的后果，它们可能以令人沮丧的方式拖下去。简而言之，我们预计数据和判断力在战争中的日益突出会巧妙地改变战略激励。因此，由人工智能引发的冲突更有可能由决心和机构能力的缓慢削弱来决定，而不是由机器人部队之间的片面之争来决定。

5.1 信息争夺

信息在战争中的重要性几十年来一直在增加。ISR基础设施的增长，在战场上，空中，海上和水下，以及在太空轨道上，极大地增加了军事组织可用的数据量和种类。远程精确武器和高带宽数据链也扩大了军队可以利用的数据的数量，这反过来又产生了更多关于友好行动的数据。然而，更多和更好的数据并不总是转化为更有效的军事行动。在过去的一个世纪里，在采用信息技术的同时，军事组织的复杂性和地理分散性也在增加。强调智力技能而非体力战斗的数据密集型任务，如情报、通信和信息行动，在军事组织中激增。同时，先进的工业化国家要求其军队执行更复杂的行动。更多的复杂性反过来又增加了出现分歧和崩溃的可能性。敌人也学会了抵消ISR革命的优势，要么采取不对称战术混入平民中，要么利用空间和网络空间的潜力。随着战场传感器的进步使得近乎实时地探测目标成为可能，敌军学会了如何分散、隐藏和欺骗。

简而言之，现代战争中可能有更多的数据，但数据管理也变得更具挑战性。虽然美国的武器可能是快速和精确的，但近几十年来美国的战争是持久和模糊的。我们认为，人工智能很可能会加深而不是扭转这些趋势。事实上，自动化既是对军事信息实践日益复杂的回应，也是造成这种情况的原因。

正如指挥官们已经专注于C2架构一样，人工智能军队中的军官们将寻求获得与特定任务相关的大量数据，以训练和维护人工智能系统。各单位将不得不做出决定，他们是应该有机地收集自己的数据，还是从其他单位、政府机构或联盟伙伴那里获得共享数据。鉴于收集技术或内容本身的敏感性，我们预计许多相关的数据库将被分类和隔离，这将使共享变得复杂。各单位也可能选择利用公共数据源或购买专有的商业数据，这两种做法都有问题，因为非政府行为者可能会影响数据的质量和获取。随着军队处理新的问题，或新的行动机会出现，数据要求将发生变化，官员们将不得不定期寻找和整合新的数据来源。人工智能战略将要求军队建立数据政策，因此谈判获取数据将是一个持续的管理和人力挑战。

我们认为，军队不仅将面临数据访问，还将面临数据关联性的挑战。异质的数据生成过程使得偏见和异常现象悄然进入数据库。虽然元数据可能有助于组织信息处理，但它们也容易受到只有人类才能解决的数据摩擦的影响。因此，清理和策划数据源与首先获得它们一样重要。除了生产或采购数据的挑战，还必须加上保护数据的挑战。正如供应链在机械化战争中成为有吸引力的目标一样，数据供应也将成为有争议的。

总的来说，我们预计人工智能的兴起将加剧网络安全方面已经非常严峻的挑战。网络安全专业人员的目标是维护一个组织的数据保密性、完整性和可用性。如上所述，其中两个目标--完整性和可用性--反映了人工智能对无偏见和可访问数据的要求。就数据为人工智能采用者提供竞争优势而言，保密性的目标也很重要。在商业上，人工智能公司往往试图拥有（而不是购买）使他们的机器能够学习的关键数据。在军事上，这相当于机密信息，它被隐藏起来以产生决策优势。出于同样的原因，对手将有动机窃取、操纵和拒绝访问人工智能学习数据。迄今为止，大多数关于人工智能和网络安全的讨论都集中在网络安全的替代理论上，即使用人工智能系统来攻击和防御网络。但我们认为，网络安全的补充理论同样重要，甚至更重要。人工智能将要求整个军事企业投入更多精力来保护和利用数据。如果人工智能系统接受了机密信息的训练，那么对手将进行更多的间谍活动。如果人工智能增强了智能，那么对手将投资于更多的反间谍活动。如果人工智能为指挥官提供更好的信息，那么对手就会产生更多的虚假信息。

不可避免的是，官僚机构的不同部分将在它们之间以及与联盟伙伴和非政府行为者之间进行角力，以获取和整理大量的异质且往往是机密的数据。各组织还将与网络和情报对手斗争，以保持对其自身数据的控制，同时也开展自己的活动，收集或操纵敌人的数据。因此，为了理解人工智能的战略意义，了解网络冲突是有帮助的，迄今为止，大多数网络冲突更像间谍和秘密行动，而不是传统的军事战争。事实上，长期和模糊的情报竞赛比快速和决定性的网络战争更常见。对人工智能的军事依赖成为教唆网络冲突在全球事务中崛起的另一个因素，而网络冲突的（模糊的、混乱的、无休止的、灰色地带的）动态可能对人工智能冲突的动态有很大影响。

5.2 组织复杂性

正如人工智能军队将努力采购、清理、策划、保护和争夺数据一样，他们也将努力教授、谈判和合法化判断。事实上，数据和判断的挑战是相辅相成的。人们将发现更难解释大量的异质数据。更加复杂的数据架构将要求管理者考虑竞争目标（即保密性、完整性和可用性）之间的权衡，这可能会引起官僚主义的争议。然而，对于依赖人工智能的组织来说，判断是更基本的，因为人类必须告诉人工智能系统要做哪些预测，并决定在预测完成后如何处理这些预测。在自主系统中编码评估的人将拥有巨大的权力，因为人工智能增加了一些人类判断的影响规模。例如，个别汽车司机对自己的车辆作出判断，而为自动驾驶汽车编码的判断可以影响数百万辆汽车。同样，一个给定的自主武器系统的每个实例，将可能与其他人分享算法和训练数据。当广泛共享的判断是错误的、有偏见的或自我服务的，那么由它们指导的人工智能系统就会产生大规模问题。随着预测变得更好、更快、更便宜，良好的判断力就变得尤为可取。

一个基本的组织挑战是招聘、培训和保留人机协作所需的人才。我们预计，人工智能系统将增加初级人员的影响力，给他们的判断和决定提供更多的杠杆。然而，我们也预计，维护和操作人工智能系统的初级军官、军士、文职雇员和政府承包商将努力理解他们在复杂的政治形势下的行为后果。Charles Krulak将军强调了 "战略下士"在21世纪战场上的作用。Krulak认为，作战的复杂性使得战术行动更具有战略意义，无论好坏，这对初级人员的性格和领导能力提出了更高的要求。人工智能将进一步增加他们的判断负担。前线人员将不得不看到来自人工智能系统的预测，评估产生预测的数据是否可靠，并对自动化系统如何以及为何能够推进任务做出价值判断。此外，人工智能系统将需要不断地重新配置和修复，因为在实际行动中，人机协作的环境会发生变化。军事人员长期以来一直在进行实地的、自下而上的创新。我们预计，军事人员将同样入侵人工智能系统，以改善他们所理解的任务绩效，即使未经授权的修改使他们与官僚机构中其他地方的系统配置管理人员发生冲突。必须强调将对政治-军事形势的复杂理解与在实地设计人工智能的技术智慧相结合的人力资本需求。人工智能时代的战略下士不仅必须是克劳塞维茨式的天才，还必须是有才华的黑客。这可能不是一个现实的要求。

在实施人工智能系统的组织中，人机合作的重要性越来越受到重视。在所有关于人工智能和战争的炒作中，大量的深思熟虑的工作试图找出人类和机器的相对优势，并设计出将它们配对在一起的方法，以改善决策。正如美国国防部的人工智能战略所指出的，"美国武装部队中的人员仍然是我们持久的力量源泉；我们将利用人工智能支持的信息、工具和系统来增强而不是取代那些服务人员。"然而，该战略所宣称的"创建一个共享数据、可重复使用的工具、框架和标准以及云和边缘服务的共同基础 "的目标，更像是对问题的严重性的描述，而不是一个解决方案的蓝图。由于人工智能为大规模的效率改进创造了潜力，它也为大规模的集体行动问题创造了潜力。新的军事参谋专业肯定会出现，以管理数据和判断资源，创造新的机构股权和整合挑战。也许更具挑战性的是在所有参与设计、使用和修复人工智能系统的工程师、管理员、分析员、操作员和律师之间培养信任的问题。

由于廉价简单的预测使人类的判断力在各种任务中变得更加重要，而且需要更多的判断力来协调人机合作，我们预计军事机构将面临复杂的指挥决策，即为什么以及如何将人类和机器结合起来。拥抱人工智能的商业公司通常会调整其边界和商业模式，将涉及数据、预测和行动的任务承包出去（如制造、运输、广告和服务提供），同时发展难以外包的内部判断能力。同样，军事组织可能会发现在一个分散的单位网络中共享专业资源（传感器、射手、情报产品和后勤）是有利的，即使他们在努力使这一切变得合理。因此，人工智能是一个更广泛的历史趋势的一部分，它被描述为 "以网络为中心的战争"、"联合部队行动"、"综合多领域行动 "和 "机构间跨职能团队"等术语。整体大于部分的总和，但每个部分都必须在如何利用共享资产方面做出出色的判断。历史经验表明，军事上的互操作性和共同感知是很难实现的，但不一定是不可能的。120 因此，我们预计军事和政治判断将变得更加困难，更加分散，而且在地理上分布更广。

事实上，"战略下士"不断参与有关政治军事目的的对话，最终可能使军队政治化。正如Risa Brooks所言，在美国，政治目的与军事手段的规范性分离产生了一些自相矛盾的不利后果：它促成了服务的狭隘性，破坏了平民的监督，并降低了战略审议。对人工智能的更大依赖可能会加剧所有这些问题，正是因为人工智能是一种力量倍增器，需要军事人员做出更大的判断。布鲁克斯的论点意味着，一个人工智能密集型的国防官僚机构可能会变得更强大，更有政治智慧。如果机器完成了大部分的数据收集、预测和战术作战，那么人类工程师、管理者和操作者的判断就会产生很大的影响，即使是在问责制的道德问题变得更难回答。正如伊拉克和阿富汗战争期间的许多丑闻（从瞄准错误到虐待囚犯）所证明的那样，一些军事人员可能无法达到如此高的卓越水平。对人工智能的日益依赖将放大整个指挥系统的领导力的重要性，从文职精英到士兵服务成员。

如果一个军事组织能够弄清楚如何招募、培训和留住高素质人才，并彻底改组和下放其C2机构，那么这种改革可能有助于灌输和协调判断力。这样做将使军队能够在战争中最大限度地发挥人机协作的作用。然而，如果判断力是军事力量的源泉，那么它也可能是一个政治弱点。随着组织和政治判断力成为人工智能军事力量的首要来源，我们预计判断力也将成为对对手最有吸引力的目标。如果人工智能依赖于联合数据和指挥结构，那么对手就会采取楔子战略来瓦解军事联盟。如果对战争目标的共识取决于强有力的政治支持，那么对手就会开展虚假信息和影响活动，以引起争议并破坏民众的支持。如果自动化系统在严格控制的交战规则下运作，对手将试图操纵使使用武力合法化的规范框架。如果人工智能能使目标定位更有效，敌人将提出更多有争议和充满道德的目标来测试政治决心。

6 结论

认为人工智能将在战争或任何其他竞争性工作中取代人类这是过早不成熟的。为了理解人工智能在任何领域的影响，重要的是要将决策分解为其组成部分：数据、判断、预测和行动。关于人工智能的经济学观点认为，机器学习是更有效的预测（而机器人是更有效的行动），这使得数据和人类判断更有价值。这意味着算法和计算能力的创新对人工智能的表现是必要的，但不是充分的。我们认为，决策的背景--组织在哪里和如何使用人工智能以及出于什么目的--决定了自动化是否可能或可取。反过来，数据和判断的互补性对准备和进行人工智能化的战争有重要影响。

我们认为，战略环境决定了数据的质量，而组织机构决定了判断的难度，这就产生了人工智能在军事任务中的四种不同类型的表现。高质量的数据和清晰的判断使 "自动决策 "成为可能，这对于受到官僚主义制约的行政和后勤任务来说是最可行的。低质量的数据和困难的判断，在战略和指挥任务中很常见，这就需要 "人类决策"。适用于低质量数据的明确判断会产生 "过早自动化"的风险，特别是当人工智能系统被授权执行火力和机动任务时。高质量的数据和困难的判断可以在 "人机合作 "中结合起来，这可以用来改善情报和规划任务。我们预计，许多（如果不是大多数）人工智能的实际军事应用可能属于最后这一类。即使是那些似乎符合 "自动决策 "类别的高度官僚化的任务，也可能需要人类的判断，特别是当预算和人事决策处于危险之中或资源稀缺造成困难的行动权衡时。同样，看起来属于 "人类决策 "类别的高度细微的指挥任务，通常可以被分解成可能受益于人工智能决策辅助工具的任务子集。大多数实施军事人工智能系统的从业人员都意识到在火力和机动方面 "过早自动化"的风险，部分原因是对 "杀手机器人 "的广泛担忧。因此，为了确定人类和机器之间的适当分工，人类必须决定预测什么，他们必须创建数据政策和人工智能学习计划，详细说明谁应该对这些预测做什么。

虽然我们同意传统观点，即人工智能是潜在的转型，但我们不同意这种转型可能是什么。一般来说，我们预计，在人工智能时代，战争的战略、组织和道德的复杂性将增加。当简单廉价的预测被应用于像战争一样具有挑战性和不确定性的政治环境中时，高质量的数据和正确的判断就变得极其宝贵。反过来，对手会采取步骤，通过操纵信息和违反预期来破坏数据和判断的质量。纠正对手的反措施将进一步增加判断的复杂性，这加剧了战争中固有的摩擦和挫折感。

我们必须再次强调，我们自始至终关注的是狭义的人工智能，特别是机器学习的改进，它导致了更好、更快和更便宜的预测。我们认为，最近导致媒体关注、商业应用和对公民自由焦虑的人工智能的进展与通用人工智能（AGI）关系不大。一些专家认为，AGI最终会发生，但这并不是目前所有人工智能炒作的目的。其他专家如布莱恩-坎特韦尔-史密斯（Brian Cantwell Smith）则直接表示悲观："无论是深度学习，还是其他形式的第二波人工智能，或者任何尚未推进的第三波建议，都不会导致真正的智能。"事实上，在理解机器学习的实际作用时，"智能"的比喻非常具有误导性。相比之下，狭义人工智能的进步已经导致了更好、更快和更廉价的预测。这种人工智能系统是针对特定任务的。

如果AGI成为现实，那么这样的机器也会提供自己的判断。AGI将能够自己执行整个决策周期。在这种情况下，除了承受战争的后果之外，人类在战争中还有什么作用就完全不清楚了。我们认为，AGI的猜测将人工智能替代的主题推向了一个极端，即机器将能够战胜、压倒并消灭任何试图阻止它实现其目标的行为者。这种末日场景经常被比作电影《幻想曲》中的 "魔法师的学徒 "片段，其中由米老鼠扮演的同名学徒给扫帚施了魔法，并指挥它从井中取水。当米奇睡着时，扫帚最终淹没了整个城堡。米奇惊醒后，拼命想把扫帚砍掉，但这只会导致更多、更好的扫帚，使他的能力不堪一击。一个非常有用的战术任务因为目标不明确而变成了一场战略灾难。尽管如此，"巫师的学徒 "这个场景显示了判断力对任何类型的人工智能的重要性。一个只关心优化目标的人工智能--即使这个目标是由人类定义的--将不会考虑人类可能关心的重要的实用环境。

我们用经济学术语狭义地将判断定义为效用函数的具体化。然而，判断的丰富概念值得进一步分析。正如决策可以被分解为各个组成部分一样，判断力也可以被分解为人们确定什么是重要的以及为什么重要所需要的智力、情感和道德能力。军事判断力不仅包括克劳塞维茨式的勇气、决心和运筹帷幄的特质，还包括公平、同情和其他难以捉摸的品质的能力。有些战时情况需要无情、狡猾和敌意，而其他情况则需要仁慈、坦率和同情。除了这些性格特征，还必须加上好奇心、创造力和优雅的工程美德，因为工作人员必须在战场上重新配置人工智能系统。我们期望互补性的一般逻辑仍然适用于这个更精细的层次。因此，任何未来的人工智能如果能够将判断的某些方面自动化，将会使其他方面更加有价值。此外，人工智能使判断的丰富现象学更有价值，这对专业军事教育有重要意义。更多的技术不应该意味着更多的技术主义。相反，随着军队对人工智能的依赖程度越来越高，人员更多地参与人文科学并反思人类的美德将是明智的。一般来说，对人工智能的依赖将倾向于放大人类领导力和战争中道德方面的重要性。

最后，我们预计，更密集的人机合作将导致判断力在军事组织中变得更加广泛，而战略竞争将变得更加充满政治色彩。无论自动化战争的未来如何，人类都将是它的重要组成部分。

附 讲解PPT与video链接