推荐！万字译文 |《数据之战：将人工智能带入战场》

在描述未来战场时，许多军事从业人员推测人工智能（AI）的影响，还有人甚至要求使用人工智能。本文提供了对战场AI技术的基本理解。首先，最重要的是，高质量、有标签、有组织的数据为人工智能系统提供养料。此外，许多人工智能架构在接触到太少或有污点的数据时被证明是脆弱的，有可能被对手所利用。应用一个健全的应用模式，考虑到人类与人工智能实施的互动，有助于确保军事交战不会变成纯粹的数据驱动模式。

引言

在描述未来的战场时，许多军事工作者推测人工智能（AI）的影响，还有人甚至要求使用人工智能。因为人工智能已经推动了部分经济的发展，并引导了自动驾驶汽车原型开发。这些商业例子代表了工程师们对使用人工智能的选择，因为它为特定问题提供了正确的解决方案。这些案例经常使用机器学习（ML），它能极好地完成一个特定的数据特征任务，但并不代表人工通用智能。ML算法可以产生令人印象深刻的结果，但事实证明其高度依赖训练数据，这使它们很容易受到攻击。尽管如此，军事规划者和领导人目前面临着在哪里实施以及如何投资AI和ML的决定，如果处理不当将很有可能失去半自主性和决策速度方面的潜在战场优势。事实上，美国《2022财政年度国防授权法》第226条要求审查 "人工智能和数字技术在美国防部平台、流程和业务中的潜在应用"，这使得对人工智能和ML应用的理解变得更加紧迫。此外，通过联合人工智能中心、美国海军研究实验室和美国空军-马萨诸塞州技术研究所人工智能加速器等组织，实施的有前途的投资和研究。ML对数据的依赖，以及它的脆弱性，揭示了潜在军事应用的基本风险和限制。这些有助于为一个基本模型提供信息，军事规划人员可以据此决定在哪里以及如何利用一个基于人工智能的系统。这个模型，再加上确保数据干净和跟踪人工智能系统的训练时间，可以帮助确保军事应用不会落入让人工智能做出不准确或错误决定的陷阱。

背景（ML的基础）

目前ML实施方式是通过训练计算机系统来很好地完成一项任务。例如，目前的ML系统可以读取路标。然而，尽管如此，一个用于图像处理的ML算法如果应用于其他数据模式，很少会产生相称的结果。例如，一个为其他目的而设计的系统，无法以同样的信心使用图像处理算法来识别人类的语音。即使是面对相同的数据模式，如图像，一个在识别一种类型的图像（如路标）时表现良好的ML算法，在训练识别另一种图像（如树木）时也可能表现不佳。美国和中国人工智能创新的领导者李开复认为，实施一个ML系统 "需要大量的相关数据，一个强大的算法，一个狭窄的领域，以及一个具体的目标。如果你缺少其中任何一个，事情就会崩溃。" 因此，图像、音频、金融和信号处理之外的应用往往仍然是研究和发展的主题。互联网提供了收集数以百万计数据点的手段，这些数据点是开发许多强大人工智能系统原型所需要的。然而，这些数据随后需要组织和标记，通常是由人类来完成，以便ML系统可以训练。上面的例子，人类可能会查看、识别和标记ML系统最初学习的每一张停车标志的图像。用来训练军事人工智能应用系统的真实标记数据往往很稀缺。数以千计的鸟类或停车标志图像已经贴上了标签，这反映了时间和资源的规模，但这不一定能用来标记训练军事人工智能系统所需的独特传感器数据。如果没有找到可以转化为军事应用的已标记的数据，就必须实施一个收集和标记新训练数据的系统。由于这些原因，数据的质量和可用性给任何军事应用带来了时间和资源障碍。

当提供优质数据时，人们可以在两种基本模式下训练ML程序：有监督的和无监督的。监督训练需要有真实标签（即正确答案）的样本。在对新数据进行分类后，ML模型可以将其输出与正确的解决方案进行比较。当它收到越来越多的训练数据时，ML算法就会寻求使其输出与正确标签之间的误差最小化。随着更多的数据和样本通过ML的反馈，其反应的准确性可能会增加，但太多类似的样本会使模型过度拟合，使其在执行时对新数据进行错误分类。在无监督学习中，ML模型没有正确分类的样本；相反，它把数据分成类似的类别。同样，训练数据集影响了这些分组在相似性方面的精确程度。当遇到有标签的数据并寻求特定的分类能力时，监督学习算法可能被证明更有用，而无监督学习最初可能被证明对一个新的数据集更有用。值得注意的是，两种方法都存在错误。

监督和非监督学习都适用于军事应用。对于图像分析，一个ML系统有可能识别出特定类型的飞机或车辆的型号。一个ML系统也可以快速识别观察到的环境变化。这种识别的变化可以触发其他传感器或ML系统进行更仔细的观察。美国空军最近表示，它已经实施了人工智能来支持目标定位。中国的军事思想家认为人工智能和智能武器是未来战争中潜在的决定性技术。情报、监视和侦察（ISR）；信息战；和图像分析是军事ML的主要应用。

除了建立大量有组织和可消化的数据用于训练外，ML系统必须可以获得新数据和计算能力，以执行ML算法。事实证明，图形处理单元，也就是驱动现代游戏电脑的硬件，可以提供所需的处理能力。然而，移动和处理ML数据所需的存储空间和带宽会使推动ML系统向战术应用发展成为挑战。这些限制意味着人们可能很快将导航、传感器到射手射击等应用推向战术边缘。其他可实现的应用，如复杂的飞机维护，需要大量的数据收集、开发和测试，然后在战术边缘进行轻度训练。

有可能的是，人们可以通过在超级计算机上训练ML系统，进而采用训练好的算法来克服这些障碍，这个过程中可能会有专门的云架构帮助。网状网络和分布式计算方法也将有助于克服这一挑战。然而，即使要实施这些解决方案，也需要对目前的战术数据通信进行大规模的改革。访问和处理数据的能力将决定AI应用在战场上的位置。如果没有在战术边缘推拉实时数据的能力，ML战场应用仍将受到限制。

脆弱性（好数据和坏数据）

除了需要大量的数据来训练ML系统，数据还必须具有良好的质量。质量意味着数据是在不同的情况下从不同来源获取的，然后以ML系统可以接受的方式进行标注和展示。更重要的是，ML实施必须确保数据的完整性和标签的准确性。古老的谚语 "垃圾进，垃圾出 "对ML来说是真实的，如果没有高质量的训练数据，假阳性或其他不良的结果会大量出现。一些研究实例已经证明了这一点对ML图像处理算法的影响。简单地给照片中的像素添加噪音或色调和亮度的轻微变化，就能迫使其做出错误的分类，即使在人眼看来图像是一样的。同样，通过在停车标志上放置贴纸来改变一个物体的物理性质，也会迫使ML系统对该标志进行错误分类。(另一方面，人类仍然会感知到停车标志，而忽略贴纸）。同样，谷歌已经证明，一个简单的 ""放置在图像的角落里会阻止正确的ML分类。虽然这些例子集中在ML的图像应用上，但它们说明了ML系统在训练中的脆弱性以及任何ML系统中数据完整性的重要性。这些问题对许多商业应用来说是可以容忍的，但在军事背景下，它们就显得更加突出。

这种对数据的依赖引入了两种颠覆ML系统的主要方法。攻击者可以在系统学习之前对数据下毒，或者向受训系统提供病态数据。像素操作和图像修补可以在模型训练阶段（即操作前）提供一种攻击手段。将贴纸贴在停车标志上或房间里的海报上，可以用来攻击操作中的训练有素的ML系统。军事从业人员可以很容易对数据进行篡改。这些可能性包括对数据库进行网络攻击，以及应用简单而一致的伪装手段，以确保训练中的签名与行动中的签名不一致。此外，偏离武器系统的正常使用方式，有可能影响ML系统的分类结果。任何ML的军事应用都必须通过强调确保数据不被篡改、数据来自可靠来源以及数据被正确标记的重要性来防止此类攻击。同时，军事人工智能系统必须有一个维持计划，以便在新的相关数据源可用时用其更新训练过的模型。在战场行动的紧迫时间框架内，这种维护可能很难实现。

为了防止这种可能性并反制对手对ML的应用，数据管理变得至关重要。首先，必须开发一种手段，以一种有标签和有组织的方式跟踪友军的数据暴露。这意味着每一次追踪友军能力可能会暴露于对手的ISR或通过间谍活动、黑客攻击、工业或新闻界不知不觉地泄露情况。同样重要的是，友军要保持对攻击者可能拥有数据的理解。对手可能有机会获得高质量的监控数据，甚至是国防部门实施的ML模型。有了这个数据集和相关的分析，就有可能进行兵棋推演并考虑到对手可能的ML能力。在兵棋推演之后，人工智能专家可以得出关于伪装、欺骗、甚至数据攻击的建议。另外，如果知道对手使用什么ML技术，再加上这些友军数据，就可以估计友军的弱点或揭示ML赋能决策中的可预测性。因此，了解对手的人工智能和ML算法应该是一个优先事项。这种数据跟踪方法有助于确定友军在战场上使用前应将哪些物品隐藏起来，并指导其有效应用。

然而，仅仅识别关键数据是不够的。军事部门还必须提供培训手段，以便进行技术签名管理。更容易进入安全设施和无线电频率（RF）屏蔽机库，或只在适当的光线和云层条件下进行训练，都是各单位必须实施的概念。人们无法抹去对手收集的旧数据，但随着国防部门开始实施新的能力，部队可以管理他们的数据暴露或改变签名。简单地改变飞机上的油漆颜色或略微改变一个射频形式因素就可以减轻过去的签名暴露。诸如扩大联合攻击战斗机的部署、高机动性火炮火箭系统或新的战术编队（如海军陆战队滨海团）等能力应适用所有这些原则，作为其部署和培训计划的一部分。总之，要应用的原则包括确保ML训练数据的完整性，保护和改变友军签名数据，并确保友军ML实施的保密性。

在哪里应用AI（风险）

风险将推动军队应该在哪里实施人工智能以及系统应该有多大的自主性。麻省理工学院（MIT）林肯实验室提出了一个描述人工智能 "影响领域"的模型，它试图定义人工智能的现有商业和军事应用。在这个模型中，低行动后果的应用包括将人工智能用于机器人吸尘器，而高行动后果的应用则将生命置于危险之中，如医疗诊断。这个模型将人工智能投资放在不同级别的可用数据和行动后果的类别中。例如，根据这个模型，最初投资于人工智能来分析ISR图像的行动后果低于使用人工智能来直接攻击目标。同样的数据可以为ISR探测和武器交战提供信息，但显然行动的后果随着交战而增加。

另一个模型在试图解释人工智能在未来可能取代的东西时，更依赖于人的因素。李开复分析了人工智能可能取代的人类角色。他从不同的角度对待人工智能的应用，通过审查人工智能的潜在使用是否取代了社会或非社会角色，同时仍然认识到对高质量数据的要求。作为医疗领域的一个例子，精神病医生的角色是高度社会化的，而放射科医生的角色是非社会化的。李认为，当提供大量有标签和可消化的数据时，人工智能投资可以最容易地取代非社会角色。这个观点与经济学家已经预测的有关工作场所的自动化取代 "常规手工和认知技能 "的观点一致，这些技能不需要大量的创造性思维或个人互动。就军事目的而言，人工智能发挥的社会作用与战争中的人类因素有关，如部队士气、政治目的和抵抗意志。在军事应用中只使用基于社会的模型，意味着人们可以考虑用人工智能来取代人类在确定目标和开火的优先次序方面的某些作用。然而，火力行动的后果将必须要求人类继续参与其中。

结合社会因素和行动后果，提供了一个初步评估工具的例子，即一项军事活动是否会从人工智能应用中受益，以及应该保留多少人类监督（图1）。

图 1. 来自麻省理工学院林肯实验室和李开复研究的人工智能军事应用评估模型

正如李开复和麻省理工学院林肯实验室所强调的数据重要性，组合模型的第一步需要策划大量的高质量、有标签的数据。必要的数据和对现有系统的完整理解只意味着人工智能可能会发挥作用。其他重要的技术考虑因素比比皆是，包括但不限于计算的可操作性、优化描述的精确性，以及学习模型的适用性。除了技术上的考虑，其他的标准也告知人们是否应该使用人工智能。使用的行动后果和社会方面的双轴分析来评估应该如何使用人工智能，而不是是否可以。对人工智能应用的完整评估需要审查数据的可用性和人工智能的技术适用性，然后评估社会和行动的后果要素。

图1所示的混合模型表明，初始军事人工智能应用的最佳位置在于行动后果较低的非社会应用。同样的左下角象限也为初步实施 "人在回路"（HOTL）模式提供了机会。这意味着人工智能将在遵守交战规则（法律框架）的情况下提供战斗管理选项，并有可能由人类进行否决，以确保人工智能的建议符合道德要求。 然而，如果没有人类的干预，HOTL人工智能系统将执行这些行动。HOTL与 "人在回路 "模式形成鲜明对比，在这种模式下，操作者会向人工智能决策过程提供积极的输入。越是在高度社会化或高后果行动领域的应用，人类就越是要在决策之前保持在循环中。最后，人们会避免在这个模型的右上角直接应用人工智能，在那里会发生具有高行动后果的高度社会活动。

图2说明了这种方法在常见的联合目标定位活动中的应用实例。目标开发和优先排序在很大程度上是技术性和非社会性的，导致了较高的行动后果，需要人类参与其中。相反，战斗损伤评估的行动后果较低，但在确定火力对对手造成的影响时，具有较高的人类社会作用。武器配对和能力分析本身属于非社会领域，其行动后果相对较低，只需要人类参与其中。指挥官的决策具有高度的社会性和行动后果，应该保持只由人工智能提供信息。这个简单的应用作为一个说明，并提供了例子之间的相对评估。虽然这个模型提供了一个可以探索如何应用人工智能的例子，但还存在许多其他例子。使用任何这样的模型，必须首先对人工智能在任何应用中的技术适用性以及数据的质量进行完整分析。

图 2. AI 评估模型在常见联合目标定位活动中的应用

使用AI（可信性）

这种人工智能应用模式本身并没有回答对人工智能系统的信任这一重要问题。就其本质而言，人工智能产生的结果，用户（甚至设计者）并不完全知道人工智能为何做出决定。这个 "黑盒"留下了重大的道德和信任漏洞。出于这个原因，提供风险控制和代表不确定性的技术研究在不断推进。虽然图1中的模型指向了一个人工智能与人类互动的案例，但这并不意味着军事从业者会信任人工智能的结果。要获得信任，首先要确保数据的干净和完整性，这一点在前面已经讨论过了。除此之外，人们必须对系统的性能有信心。 一个军事人工智能的实施不会总是一个静态的系统。随着对手调整其设备或新的传感器上线，人工智能系统将不断需要接触到扩大的和当前的数据，以确保其分类决定保持准确，并以正确的理由进行。

就像军事飞行员和其他专家必须保持使用其武器系统的资格一样，人工智能的实施将需要一个持续的培训和评估计划。人工智能在性能上的重复验证将涉及到用更新的数据集进行再训练。任何人工智能系统都必须进行这种性能上的再验证，因为目前使用的模型并没有达到通用智能。重新训练人类操作员以适应新的或新的数据输入要容易得多，而人工智能算法在引入新的数据时可能完全无法工作。例如，如果一个人工智能系统要将一张图片分类为朋友或敌人，那么在循环中的人类会想知道人工智能系统使用的是当前的和经过严格测试的模型。此外，任何重新训练人工智能系统的人也希望将当前的性能与过去的性能指标进行比较，以了解系统是否有改进。性能的退化可能表明数据的退化甚至妥协，需要在采用该系统之前对其进行重新训练。就像训练有素的军事技术人员需要在武器平台上保持最新的资格一样，人工智能系统在某项任务上适用性和熟练程度也应保持跟踪。

这些挑战导致国防部门建立了人工智能道德的五项原则：负责任、公平、可追踪、可靠和可管理。最近，美国人工智能安全委员会呼吁国家标准和技术研究所制定措施和 "人工智能可信的工具"。 在适当的领域实施人工智能系统，适当地管理数据，并确保当前的人工智能培训，都有助于建立对军事人工智能系统的信任。

结论

随着人工智能研究界开始向国防部门提供能力，没有经验的军事从业者将正确地寻求了解AI和ML的作战影响。然而，一些急于实施人工智能技术作为目的的军事领导人有可能不理解人工智能技术的基本原则。人工智能作为解决一个问题的潜在手段，但不一定是最好的手段。首先，高质量的、有标签的、有组织的数据为人工智能系统提供支持。在最初的开发中，AI/ML战斗相关的应用可能会依赖来自图像和信号处理的数据。此外，目前的ML结构在接触到太少或有污点的数据时被证明是脆弱的。即使提供了一个健全的人工智能实施方案，现在的军事应用也有可能被对手所预测。随着国防部门开始使用新的能力并强调军事行动中的签名管理，数据管理将被证明是评估人工智能系统使用的最重要因素。应用一个健全的应用模型，考虑到人类与人工智能实施的互动，将有助于确保军事交战不会变成纯粹的数据驱动。通过在适当领域应用人工智能，确保数据干净，遵守道德原则，并跟踪系统培训，同时减轻新的攻击载体，那军事从业者可以信任人工智能。以错误的方式应用人工智能将为对手打开容易攻击的载体，如果不能认识到战争中人因的重要性，导致宝贵的资源浪费，不能产生可预测的反应，那最终将无法创造出预期的战场优势。