《军事人工智能、机器人和蜂群的问题和研究》308页报告，美海军分析中心

军队正处于一场重大技术革命的边缘，战争由无人驾驶和日益自主的武器系统进行。然而，与上一次冷战期间的 "巨变"不同，当时的先进技术主要由美国防部开发，今天的关键技术推动者主要由商业世界开发。这项研究探讨了人工智能、机器学习和机器人技术的最新进展，以及它们对自主（和半自主）武器系统的潜在未来军事影响。虽然没有人能够预测人工智能将如何发展或预测其对军事自主系统发展的影响，但有可能预见美国防部在日益转向基于人工智能的技术时将面临的许多概念、技术和操作挑战。这项研究审查了关键问题，确定了分析差距，并提供了一个机会和挑战的路线图。它最后列出了一份建议的未来研究清单。

执行总结

2016年发生了大量与人工智能（AI）相关的突破性技术公告和/或演示。

1.人工智能在围棋比赛中击败了卫冕世界冠军，这个游戏比国际象棋要 "复杂 "得多，在这次事件之前，大多数人工智能专家认为在15-20年内不可能做到这一点。

2.人工智能自己学会了，在哪里找到它需要的信息来完成一项特定的任务。

3.人工智能通过研究一张照片预测了近期的未来（通过生成一个简短的视频剪辑）（也能够通过研究视频帧来预测未来）。

4.人工智能仅仅通过观察就能自动推断出支配机器人群内各个机器人行为的规则。

5.人工智能学会了自己为伦敦地铁导航（通过查阅自己获得的记忆和经验，很像人脑）。

6.人工智能的语音识别在对话式语音方面达到了与人类相同的水平。

7.一个人工智能通信系统发明了自己的加密方案，而没有被告知具体的加密算法（也没有向研究人员透露其方法的工作原理）。

8.一个人工智能翻译算法发明了自己的 "interlingua "语言，以更有效地在任何两种语言之间进行翻译（没有被人类教导这样做）。

9.一个人工智能系统与环境互动（通过虚拟执行器），以人类儿童的方式学习和解决问题。

10.德克萨斯州休斯顿卫理公会研究所的一个基于人工智能的医疗诊断系统在审查数百万张乳房X光片时达到了99%的准确率（速度比人类快30倍）。

这些和其他最近的类似突破（例如，2011年IBM的Watson击败了有史以来排名最高的两名Jeopardy！选手），值得注意的原因有几个。首先，它们共同提供了证据，表明我们作为一个物种，已经跨入了一个时代，在这个时代，看到人工智能超越人类，至少在特定的任务，几乎是例行公事（也许就像在前几次阿波罗任务之后，登陆月球 "几乎 "是例行公事一样）。第二，它们提供了一个人工智能与人类智能有多大区别的一瞥，以及外部探测器对其 "思维 "是多么的不可触及。第三，它们展示了人工智能让我们吃惊的力量（包括人工智能系统开发者，他们如今在精神上更接近于 "数据收集者 "和 "训练者"，而不是传统的程序员）--也就是说，人工智能，在其核心，从根本上说是不可预测的。在击败李世石（18次围棋世界冠军）的人工智能的围棋比赛的第二局中，人工智能走了一步令人惊讶的棋，以至于世石不得不离开房间15分钟以恢复他的冷静："这不是人类的棋。我从未见过人类走这一步。太漂亮了。"

上述突破还因第四个原因而值得注意--一个更微妙的原因，但也是直接激发这项研究的原因。也就是说，它们预示着一系列深刻的概念和技术挑战，国防部在现在和可预见的未来必须面对这些挑战，因为它拥抱了人工智能、机器人，以及与蜂群相关的技术，以加强（并将其武器化）其具有更高水平自主性的无人系统舰队。微妙之处在于解开自主权这个 "显而易见 "的词的真正含义；事实上，截至本文写作时，还没有普遍接受的定义。

自主武器自二战以来一直在使用（例如，德国的 "鹪鹩 "鱼雷的被动声学寻的器有效地使它成为世界上第一个自主制导的弹药）。人类监督的自动防御系统已经存在了几十年，空中无人机在20多年前首次被使用（即RQ-1捕食者在前南斯拉夫被用作情报、监视和侦察平台）。但只是在2001年9月11日的恐怖袭击之后，军方才真正开始对无人驾驶车辆产生兴趣，并对其越来越依赖。在短短10年内，国防部的无人驾驶飞机库存从2003年的163架增加到2013年的近11000架（2013年占所有飞机的40%）。而且，美国对无人机的兴趣远不止于此：根据最近的一项统计，至少有30个国家拥有大型军用无人机，而武器化无人机俱乐部最近已增加到11个国家，包括美国。

美国防部采购的大部分中型和大型无人驾驶飞行器（UAVs），即MQ-1/8/9s和RQ-4/11s，用于在伊拉克和阿富汗的反叛乱运动，那里的空域基本上没有争议。现在，美国正在从这些战役中撤出，军方正在将其战略重点转移到不那么宽松的作战环境（即亚太地区）和拥有现代防空系统的对手。因此，人们越来越强调开发新的、更自主的系统，使其更有能力在更有争议的空域中生存。

从根本上说，自主系统是一个能够独立组成和选择备选行动方案的系统，以根据其对世界、自身和当地动态环境的知识和理解来完成目标。与自动化系统不同，自主系统必须能够应对在部署前没有预先编程或预期的情况。简而言之，自主系统本质上是人工智能的机器人，而且是不可复制的。在本摘要的其余几页中，我们阐述了这一论断的分析含义（将细节和支持性证据留给主要叙述）。

首先，如果以及当刚才描述的自主系统最终到来时，它们将为作战人员提供各种明显的优势。例如，它们将消除人类操作员受伤和/或死亡的风险；提供不受人类工作量、疲劳和压力限制的自由；能够吸收大量的数据，并在远远超过人类能力的时间尺度上做出 "决定"。如果机器人群被加入到这个组合中，全新的任务空间也有可能被打开--例如，广域、长效、监视；网络化、自适应电子干扰；以及协调攻击。使用机器人群而不是单个机器人也有许多优势，包括：效率（如果任务可以分解并并行执行）、分布式行动（多个同时合作的行动可以在不同的地方同时进行）和容错性（群体中单个机器人的故障并不一定意味着特定任务无法完成）。

然而，自主系统的设计和开发也带来了重大的概念和技术挑战，包括：

• "魔鬼在细节中 "的研究障碍。自主系统的开发者必须面对许多与学术界和商业界的人工智能和机器人研究界几十年来一直在努力 "解决 "的基本问题。为了生存和成功执行任务，自主系统必须能够在复杂和不确定的环境中感受、感知、探测、识别、分类、计划、决定和应对各种威胁。虽然所有这些 "问题 "的某些方面已经在不同程度上得到了解决，但到目前为止，还没有一个系统能够完全包含所有这些特征。

• 复杂和不确定的环境。自主系统必须能够在复杂的--可能是先验的未知环境中运行，这些环境拥有大量的潜在状态，而这些状态不可能全部被预先指定或被详尽地检查或测试。系统必须能够吸收、响应和适应在设计时没有考虑的动态条件。这个 "扩展 "问题--即能够设计出在静态和结构化环境中开发和测试的系统，然后让它们在动态和非结构化环境中按要求运行--是非常不简单的。

• 突发行为。为了使自主系统能够适应不断变化的环境条件，它必须有内在的学习能力，而且不需要人类的监督。它可能很难预测，也很难解释先验的、未预料到的、突发的行为（在足够 "复杂 "的系统的动态系统中几乎是肯定的）。

• 人机互动/I：自主系统的运行效率将取决于人类操作者和机器在特定环境中的动态互动，以及系统如何实时响应不断变化的操作目标，并与人类自身对动态环境的适应相配合。在人机协作性能中，人的成分的先天不可预测性只会加剧本清单中确定的其他挑战。

• 人机互动/II：人类操作者和自主系统之间的界面可能包括一个多样化的工具空间，包括视觉、听觉和触觉组件。在所有情况下，都存在着将人类目标转化为计算机指令的挑战（例如，"解决 "自然语言处理的长期 "人工智能问题"），以及以人类操作员可以理解的形式描述机器的 "决策空间"（例如，允许操作员回答 "系统为什么选择采取X行动 "的问题）。

• 控制。随着自主系统复杂性的增加，我们可以预期我们预测和控制这些系统的能力也会相应下降--即 "复杂性的自满阴影"。正如最近人工智能突破的一般性质所证明的那样，有一个基本的权衡：要么人工智能可以达到一个特定的性能水平（例如，它可以像人类一样或比人类更好地下围棋），要么人类能够理解其性能是如何实现的）。

除了这些开发自主系统的内在技术挑战外，还有一系列随之而来的采购挑战，其根源在于国防部与创新相关的采购做法最近的转变。虽然美国政府在促进人工智能研究方面一直发挥着重要作用（如ARPA、DARPA、NSF、ONR），但现在人工智能、机器人和自主性方面的大多数关键创新都是由商业部门推动的，而且其速度是国防部相对缓慢的炉灶式采购流程所无法适应的：从开始进行替代方案分析（AoA）研究到初始作战能力（IOC）平均需要91个月（7.6年）。即使是信息技术项目--大多数人工智能衍生的收购项目自然属于其范畴--平均也需要81个月。作为比较，请注意，在大致相同的时间间隔内，商业人工智能研究界已经从仅仅试验（专用硬件辅助的原型）深度学习技术，到击败围棋世界冠军（以及实现许多其他重大突破）。

当然，美国防部的采购挑战，特别是包括硬件和软件之间严重耦合的武器系统，几十年来一直为人所知。然而，尽管各利益相关方为应对这些挑战做出了许多尝试，通用的采购流程（至少在传统的机构层面）实际上仍然没有改变。近年来所取得的进展更多的是来自于国防部为促进系统的 "快速采购 "而制定的变通办法，而不是来自于对采购过程本身的炉火纯青的改变。最近已经取得了一些进展--例如，2009/2011年国防授权法案（NDAA/Sec 804）规定了一个新的IT采购流程，这又导致了国防科学委员会（DSB）工作队（TF）对采购流程的多次研究。然而，在这些DSB/TF的研究中，明显没有明确提到自主权。

使问题进一步复杂化的是美国防部现有的自主权指令（美国防部指令3000.09，2012年11月发布）与当前的测试和评估（T&E）以及验证和确认（V&V）实践之间的基本对立。具体来说，第3000.09号指令要求武器系统（斜体字为本报告作者所加）。

• 通过严格的硬件和软件T&E/V&V，"包括分析因复杂作战环境对自主或半自主系统的影响而产生的未预期的突发行为。"

• "在现实的作战环境中对适应性强的对手发挥预期的作用。"

• "足够强大，以尽量减少可能导致意外交战的故障"。

第3000.09号指令进一步要求T&E/V&V必须 "在现实条件下评估系统的性能、能力、可靠性、有效性和适用性，包括可能的对手行动，与意外交战或系统失去控制的潜在后果相一致。"

然而，现有的T&E/V&V实践并没有为这些引用的要求中的任何斜体部分做出调整。自主系统特别难以测试和验证的许多原因包括 (1) 状态空间的复杂性（不可能对自主系统可能的系统 "状态 "的巨大空间进行详尽的搜索）；(2) 物理环境的复杂性（自主系统的行为不能在原地指定，更不用说测试和认证，而必须在与动态环境的互动中进行测试，使系统输入/输出和环境变量的空间变得复杂难解）。(3) 不可预测性（由于自主系统本质上是复杂的适应性系统，可以预期在某些动态情况下会出现新的或意想不到的行为；现有的T&E/V&V实践不具备处理突发行为的必要保真度）；以及(4) 人类操作员对机器的信任（现有的T&E/VV&A实践仅限于在封闭、脚本环境中测试系统，因为 "信任 "不是一个系统的固有特质）。

信任还需要解决经验和/或学习的问题：为了更加有效，自主系统可能被赋予积累信息和学习经验的能力。但是，这种能力不可能在一个 "检查盒子 "的时间段内被单一地认证。相反，它需要定期的重新测试和重新认证，其周期性必然是系统的历史和任务经验的函数。现有的T&E/V&V实践完全不足以解决这些问题。