美国国防部和空军领导人认为，人工智能（AI）是一种改变游戏规则的技术，将帮助空军情报、监视和侦察（ISR）体系克服大国冲突所需的情报分析速度和规模方面的长期挑战。传感网格概念（最近更名为传感器集成）被作为未来框架引入，以整合人工智能和认知建模工具融入空军ISR，但对于对手的威胁和道德方面的考虑却很少讨论，而这些考虑应该贯穿于系统的设计和功能模块。为了让空军内部的人力和组织做好准备，以整合高度自动化的人工智能情报分析系统，领导人必须倡导以人为本的设计，从历史上人机协作的成功和失败中吸取教训。领导人还必须采取积极主动的方法来培训空军的ISR劳动力，以便与革命性的但不完善的人工智能技术进行有效协作。

问题陈述

根据美国空军作战集成能力（AFWIC）传感跨职能小组的说法，空军情报、监视和侦察（ISR）的现状是高度专业化、专有化，并且过于依赖人力密集的回传（reach-back）过程。当规划人员展望未来的大国冲突时，他们评估目前的硬件和分析过程将不足以建立对同行对手的决策优势，情报工作在胜利所需的速度和规模方面落后。空军A2的 "下一代ISR主导地位飞行计划"对目前的ISR体系也提出了类似的批评，主张摆脱今天的 "工业时代的单一领域方法"，以追求 "架构和基础设施，以实现机器智能，包括自动化、人机合作，以及最终的人工智能。"虽然为空军人员提供更快更智能的工具来制作和分享评估是空军高级领导人的优先事项，但引入更高水平的自动化和机器主导的感知为情报界带来了一系列新问题。考虑到这些工具可能遇到的篡改和故意提供错误信息的威胁，依靠算法走捷径是否安全？追求由自动化武器系统促成的战争到底是否合乎道德？如果是这样，情报界采用自动化工具以更快的速度产生关键的情报评估会带来什么风险？

人工智能（AI）一词被美国防部联合人工智能中心定义为 "机器执行通常需要人类智慧的任务能力--例如，识别模式、从经验中学习、得出结论、进行预测或采取行动。"参议员们希望AI能够很快为人类分析师用来进行评估的软件套件提供动力，并使物理系统在更多的自主应用中发挥作用。机器学习（ML）被国防部高级研究计划局（DARPA）定义为人工智能中的一个领域，"将统计和概率方法应用于大型数据集"，并可以将衍生模型应用于未来的数据样本。利用ML好处的一个流行方法是通过深度神经网络（DNN），它可以使用历史数据被训练成执行一系列的分类和预测任务。虽然在AFWIC或A2的出版物中没有特别提及，但在模拟人类思维过程的应用中使用AI、ML和DNN是计算机科学和心理学的一个混合领域，称为认知建模。在AFWIC对未来空军ISR体系的设想中，AI、ML、DNNs和认知建模概念是向数字化、以网络为中心的情报方法转变的关键部分。

为了给空军ISR体系的现代化举措提供一个框架，AFWIC建立了传感网的概念，定义为 "传感器、平台、人员、设备、内容和服务的组合，为决策者提供整体、准确、预测和及时的作战环境特征。"该概念的设计者设想了一个具有预测分析、自主传感和响应、融合多个数据源和边缘处理的系统，所有这些都是通过利用AI、ML、DNN、数据分析和其他认知建模方法来实现的。尽管没有公布传感网格的首次亮相日期，但大多数讨论表明，优化的系统簇至少还有十年。同时，美国防部领导层非常迫切地要赶上中国和俄罗斯在军事人工智能应用方面的投资，鼓励快速原型设计和实验，以找到解决方案。人工智能在国防论坛上经常被认为是使以数据为中心的情报任务更快、加快战术决策的答案，但如果所涉及的系统处于工程的初级阶段，并且在国家安全领域仍未得到证实，这仅仅是猜想。

虽然AFWIC和空军A2专注于人工智能传感器和工具的研发投资，但很少讨论使传感网格安全和有效所需的人机合作动态。为了使传感网格成为一个有效的系统，为空军执行ISR和分析的方式带来价值和进步，领导人应该在技术中倡导以人为本的设计，培训和准备一线分析员与新系统有效的协作，并根据人工智能的优势和劣势调整组织做法。空军领导人必须承认将更多的分析任务分配给人工智能工具所固有的对抗性威胁和道德问题，这些问题必须告知感知网格的蓝图。这并不是说正在进行的系统软件开发应该停滞不前，而是说在情报和物资领导人之间必须同时进行对话，讨论人类分析员的作用，因为这对减轻越来越多地依赖人工智能的弊端至关重要。空军领导人还必须推行一项深思熟虑的计划，将传感网格组件整合到当前的传感、识别、归属和共享（SIAS）活动中，使一线分析员为 "更高级别的推理和判断"任务做好准备，同时承认机器应该增强人类任务，而不是完全取代人类。

接下来本文将提供与人工智能系统相关的脆弱性和道德问题的文献回顾，以深入了解建设和应用传感网格可能面临的挑战。它还将包括讨论在完成和应用这个改变游戏规则的系统之前，情报和物资领导人应该考虑哪些因素。本文最后将就如何为空军ISR战斗空间准备传感网格提出进一步的建议，为空军人员在数字时代的行动提供必要的场景设置。

文献回顾

最近关于将人工智能应用于认知任务的相关弱点的研究大多强调了对抗性样本的危险性，这些样本修改了DNN的输入，导致它们控制的系统以各种方式发生故障。对抗性输入可以是物理的或非物理的，可以影响各种数据分类器分类媒体，包括图像、音频文件和文本。最常提到的物理欺骗样本是一个实验，工程师通过将停车标志调整成不同的角度来愚弄自动驾驶汽车上的光学传感器，导致车辆错过停车。物理欺骗在国防应用中不是一个新颖的计划，但将边缘处理和自动化纳入像传感网格这样的系统可能排除了人类分析师第一手识别这些战术。在非物理领域，训练算法以类似于人脑的方式来识别模式是一项具有挑战性的任务。计算机视觉（CV）算法对图像的分类与人类分析人员非常不同，当只有几个像素不合适时，很容易对物体进行错误分类。在不太直接的情况下，工程师无法解释模型的错误，刺激了DARPA等组织对可解释人工智能的倡议。在最好的情况下，对抗性输入被识别为异常值，并被具有强大训练样本的CV模型所忽略；在最坏的情况下，它们可能会破坏现实世界的输入，并在人类分析师不知情的情况下从样本中数字化地删除物体或活动。如果对抗性输入导致分析师错过他们通常会在没有协助的情况下捕捉到的重要活动，就会产生灾难性的后果。

如果将AI、ML和DNN应用于情报数据集背后的目标是以更高的速度分析和传播更多的信息，那么自然语言处理（NLP）也可能是感知网格架构的一部分。NLP模型今天被广泛用于个人和商业用途，像Siri和亚马逊Alexa这样的工具使用语音提示来启动其他应用程序。NLP模型也可用于大量文本或其他媒体的理解任务，使用衍生数据回答问题。这种技术在融合多种数据源的SIAS任务中可能非常有用，但也可能容易受到干扰。NLP中的对抗性输入可以引入错误的句子或用文本文件中的反义词替换关键词，导致模型在没有时间或能力进行人工审查的情况下错误描述数据集。

与任何分层模型的方案一样，CV和NLP模型是否能像预测的那样有效地协同工作还是个未知数，更不用说检测像Deepfakes这样在非保密领域进入DNN的伪造数据了。人类分析员离通常可以检测错误信息的源数据流越远，SIAS就越容易受到错误输入的影响。尽管有这种担忧，但空军A2的指导意见表明，人们对分层模型利用非保密的公开信息（PAI）进行无缝传感器提示寄予厚望，使ISR体系能够更有效地找到相关目标。如果没有一种强大的方法来检测提示传感器的PAI样本中的伪造媒体，这个过程可能难以安全地实现。

技术的复杂性和自动化、人工智能系统对篡改的潜在脆弱性，引发了关于在军事行动中应用这类技术是否符合道德的讨论。虽然传感网格的设计不是为了直接使用武器，但来自该系统的情报数据很可能为关于多个领域的关键决策提供信息。关于AI/ML的伦理学文献通常对采用自主运作、人类干预窗口有限的系统持批评态度，其逻辑与反对地雷等传统自动化武器的伦理学论点相似。虽然传感网格及其前驱系统将具有比压力板装置高得多的认知行为属性，但一些人认为，人类对黑盒系统的控制同样很少，这些系统在向人类操作者提出选择或结论之前，会执行层层的算法通信。

幸运的是，人工智能系统可能也能够在人类容易出现道德失误的情况下进行补偿，因为机器不会经历像恐惧或惊慌这样的情绪，而这些情绪可能会引发危险的决定或违反LOAC。尽管利用人类与认知模型合作的这一潜在优势是谨慎的，但美国防部的指导意见将速度作为人工智能最有用贡献的具体价值，这引入了更多道德难题。对个人决策的测试表明，人类在复杂环境中的风险评估能力已经很差，而引入人工智能，使人类判断的价值边缘化，只会导致更快的、风险更高的结论。当人工智能带来的错误评估或草率决定导致灾难性错误时，问责也是美国防部领导人必须准备解决的混乱道德问题。

大多数文献中隐含的减轻对手篡改和道德失误威胁的解决方案，是在人类控制器和自主的人工智能系统之间进行最佳分工。不足为奇的是，对于这应该是什么样子，以及它如何适用于像传感网格这样的系统，有许多观点。一些人认为，在国际协议框架中没有雇用自动武器系统的空间，并将其缺乏责任感与儿童兵相比较。其他人认为，如果像联合目标定位这样的程序以同样的严格和参与规则进行，人工智能工具将不会导致不可接受的失控。虽然人们认为迫切需要通过购买现有的商业软件向联合情报界提供传感网格的能力，但如果美国防部领导人希望减少前面讨论的风险，工程师、需求所有者和分析师必须致力于仔细讨论人工智能应用在ISR体系中最有帮助的地方以及它们有可能造成伤害的地方。

讨论结果

当涉及到投资建设由人工智能和认知建模应用驱动的未来ISR体系的项目时，美国防部和空军除了需要快速投资并与大学和国家实验室合作外，提供的指导有限。除了系统 "事故风险较低；对黑客和对手的欺骗行为更有弹性和表现出较少的意外行为"之外，对该部门在人工智能投资方面所期望的指导也是有限的。缺乏特殊性可能是人工智能在国防部战略中首次出现的症状，但自满和满足于为投资而投资的情况并没有远远超过这种情况。使用该技术的社区有责任决定与认知模型建立哪种类型的协作关系将提供最大的利益，但战略指导似乎将责任交给了实验室和行业合作伙伴，责成外部人士确定人工智能将解决的问题和解决方案。如果空军ISR领导人在讨论如何最好地将人类分析员与人工智能工具协作方面不发挥积极作用，他们将如何评估开发人员是否在提供资金的情况下取得足够的进展？美国防部如何相信由非业务伙伴开发的解决方案能够充分解决安全和道德问题？在什么时候，人工智能会从一个脆弱的研究项目过渡到改善SIAS的速度和准确性的可行解决方案？

讨论人工智能及其在情报工作中的预期功能的一个更有成效的方法是，不要把它当作一个神奇的子弹，因为它的定义太不明确，根本无法研究。虽然将认知模型应用于情报过程可能是新的，但在战争中实现自动化的技术已经存在了几十年。领导人必须考虑现代战争中已经存在的人机合作结构，以获得设计和整合传感网格的经验。对于空军ISR来说，分析当前和历史上人类分析员、机载传感器和战区决策者的团队合作是一项有益的工作。机载ISR传感器的性能衡量通常通过传感器输出的响应性和准确性等因素来评估，但了解传感器数据引发的分析和决策过程也很重要。例如，光谱成像传感器可以被用作异常检测器，突出不寻常的物体或活动，供人类分析员审查和报告。报告可以传播给行动领导人，然后他根据情报做出决定，命令对异常活动的来源进行空袭。如果这一连串的事件在行动过程中习惯性地发生，那么传感器和人类在循环中的互动可能会开始改变，而传感器被潜意识地重新归类为威胁探测器。在这种情况下，传感器的性能规格并没有改变，但随着时间的推移，团队关系中的人类开始对传感器的输出应用不同的价值，这可能是外部激励因素的影响。虽然大多数分析家都知道，假设所有的异常情况都是威胁是不正确的，也是危险的，但人机协作关系演变为扭曲人类判断的微妙方式是值得关注的。为了确保人机协作以道德方式进行，领导者必须反思协作结构如何在无意中抑制组织的价值观。对新作战技术的准确性和稳健性的要求是合理的，但了解技术煽动的组织行为和习惯对有效和道德地使用是最重要的。

除了在ISR体系内应用现有的人机合作经验外，人工智能感应网格的设计也应以人为本。虽然在建立一个由人类分析员使用的系统时，这似乎是显而易见的，但在复杂的系统工程项目中，人因工程和人机协作的考虑往往是一个低优先级的问题。这部分是由于传统的组织障碍，将软件工程师和人因专家放在不同的部门，尤其是后者专门研究认知心理学、神经科学和机器人学等学科，这些学科在一些项目中可能发挥有限的作用。未能在复杂系统中适当整合人的因素的后果是可怕的，这在波音公司的737 Max飞机上可以看到，该飞机在2018年和2019年发生了两起致命事故。两份事故报告都提到高度自动化的机动特性增强系统（MCAS）软件是导致飞机失事的一个重要因素。虽然MCAS被设计为使用传感器输入来协助飞行安全，但糟糕的人为因素考虑使得该系统在触发自动程序后，飞行员很难覆盖。虽然培训用户与新系统合作是入职的自然部分，但由于缺乏人为因素工程而导致的陡峭学习曲线是一种风险，可以通过对人类和机器行为进行建模来减轻，因为它们与手头的任务相关。在这种情况下，建模将帮助系统架构师确定在特定的团队合作关系中造成误解的沟通差距，也许可以提供关于机器如何在紧急情况发生前向人类操作员充分披露其局限性的洞察力。

当我们推测如何最好地促进人机互动，充分解决与人工智能和自动化相关的安全和伦理问题时，寻求视觉分析专家的咨询可以提供有价值的设计见解。"视觉分析是一个科学领域，它试图通过交互式可视化增加人机对话来提高自动化、高容量数据处理的透明度。为分析师提供一个团队结构，让他们选择如何可视化数据集，可以在自动化、机器辅助的数据精简和人类判断之间取得有利的平衡。在传感网格的可视化分析的最佳应用中，分析师将以高度的信心理解数据集的重要性，这得益于调整基础分析过程的能力。理想情况下，可视化分析使用户能够通过向系统提出关于数据的假设和问题来利用他们的学科专长，使他们能够通过对话得出结论。视觉分析中的一种被称为语义互动的方法也可能是有帮助的，创建的模型可以将分析师与视觉数据的对话转化为模型的调整，推断和学习人类伙伴执行常规任务的原因，如突出、复制等。考虑到前面详述的学科有多新，建立明确的测试和评估标准将是准备将这些和其他团队技术纳入SIAS任务的重要步骤。

美国空军研究实验室（AFRL）内的各局无疑面临着许多挑战，在这个概念正式确定之前，他们一直致力于建立传感网格的组成部分。将人工智能整合到智能架构和软件中的工程师和开发人员主要在罗马实验室AFRL信息局（AFRL/RI）工作，分为多个核心技术能力（CTC）团队。特别是处理和开发（PEX）CTC将深入参与开发实现传感网的DNN，其任务是"为空军、国防部和情报界提供快速感知，以提高对形势的认识和对抗的洞察力"。在PEX CTC中，项目按功能分为特征化、极端计算、理解和预测项目，涵盖了从数据提取到高级感知的一系列步骤。人因工程方面的专业知识来自位于两个州外的莱特-帕特森空军基地的飞行员系统（RH），一个跨学科局。下一步，PEX CTC的项目可能会与AFRL的其他部门（如传感器（RY）或航空航天系统（RQ））的开发项目相结合，将RI的SIAS部分与新的机载收集传感器和车辆联系起来。目前，RI的工程师使用来自实际联合和国家情报来源的样本数据流，逐步解决在大量非结构化数据中进行分类的计算挑战。寻找解决方案以保持物理系统的尺寸、重量和功率要求可控，也是一个持续关注的问题，特别是在像Agile Condor这样寻求在机载系统上提供高水平边缘处理的项目。

正如前面的文献调查所示，在DNN中建立稳健性和安全性，以防止ML中的对抗性干扰，是任何网络开发者都关心的问题，RI内部的团队也不例外。DNN已经在实验室环境中以意想不到的方式学习或失败，引入与人类感知相矛盾的对抗性输入，可能会使开发有用工具的进展受挫。如果系统继续随着新数据集的发展而发展，那么可能很难确定技术成熟度的基准，在这种情况下，AFRL将维持责任转移给空军生命周期管理中心（AFLCMC）是合适的。虽然这一点与建立人工智能传感网格组件的测试和评估标准的重要性有关，但它也应该引发关于复杂系统在开发和维持组织之间的移交是否适合这种技术的讨论。理想的情况是，在DNN上拥有最多专业知识的团队建立模型，并在其整个生命周期内维护它们。一个更有可能和更少破坏性的行动方案是建立具有可升级底盘和外形尺寸的传感网组件，允许在可用时用替换设备进行简化升级。考虑到国家实验室、DARPA、麻省理工学院、卡内基梅隆大学和其他机构的大量人工智能研究投资，空军领导人应该考虑如何在研究结果公布后，整合部门的投资回报，以改善感知网的设计和功能。

对于美国防部和空军领导人来说，为未来传感网的整合创造条件，还有其他独特的伦理挑战需要协调。如果 "传感网格"及其组件能够提供该概念所承诺的快速和强大的传感功能，那么期望所有使用该系统的一线分析员都能理解其工作原理是否合理？在发生灾难性错误的情况下，初级分析员是否需要了解该技术，以便对涉嫌疏忽的错误负责？"将边缘处理纳入传感网设计也是一个有道德争议的话题。虽然自动数据处理可以节省SIAS的时间，但分析师如何知道边缘计算程序是否出现故障，或者他们是否被对手欺骗？从传感器的边缘去除人类的认知劳动可以更快地提供数据，但结果的准确性可能会有所不同。那些认识到这些问题，但却因为要比中国或俄罗斯更快地投入技术的压力而推迟解决的领导人，应该仔细思考这一立场背后的原因。虽然中国和俄罗斯的政府形式与美国根本不同，但事实是，这两个国家都有等级制度，对国防事务中的错误和不精确性的责任也很重视。以类似于核计划的方式，美国政府应该领导国际社会与竞争对手分享安全、设计良好的人工智能算法的传统技术，确保没有国家因为糟糕的态势感知工具而引发误解导致的冲突。最好的国际人工智能军备控制可能来自于对人工智能研究结果的尽可能透明，并倡导负责任地使用该技术。

建议

尽管完整形式的传感网格还需要几年时间才能实现，但最终系统的组成部分可能会在未来十年内逐步投入使用。在为下一代人机协作做好技术、人员和组织的准备方面，还有大量的工作要做。美国防部和空军ISR领导人不应等到正式的系统首次亮相时才开始倡导在传感网格技术中采用以人为本的设计，将人工智能的培训目标纳入对一线分析员的指导，并为组织接受该技术和与之合作做好准备。当涉及到设计和构建这个复杂的系统时，物资领导人在考虑采购商业的、现成的软件以获得更快的数据汇总解决方案时，应该谨慎行事。在没有为传感网格及其系统如何运作建立测试、评估和安全标准的情况下，过早地整合多用途商业软件可能会给传感网的人工智能互动带来不确定性和风险。

此外，找到更快解决方案的愿望不应该先于对人的因素的考虑，因为这对安全和富有成效的人机合作至关重要。美国防部领导人还应该认真审视在整个传感网中整合边缘处理的计划，将其作为一个安全和道德问题，并应仔细思考在哪些地方将人类感知与传感器输出分离才是真正合适的。虽然培训人类分析员是ISR体系可以采取的最明显的措施之一，以减轻来自外部干预和道德失误的威胁，但物资领导人也必须考虑他们在采购精心设计的、以人为本的技术方面的作用，作为一个同样重要的保障。

正如美国国防创新委员会的AI原则。虽然年轻的分析员在快速学习数字应用和程序方面表现出很强的能力，但初级人员也倾向于以令人惊讶的方式信任技术。因此，这些分析员必须继续接受情报分析基础知识的培训，使他们善于识别传感网格中的算法错误和遗漏。空军领导人在2018年为促进AI和ML素养迈出了务实的第一步，启动了一项试点计划，以确定具有计算机语言经验的空军人员，希望在各种举措中利用那些具有编码专长的人。虽然这项措施将有助于区分具有较高数字熟练度的分析员，但教导劳动力如何运作计算机模型可能是一个更有用的技能组合，以准备在传感网中进行人机合作。"为传感网就业准备一线分析员的最坏方法是依靠及时培训来弥补劳动力对技术知识的差距，从而为SIAS活动引入更大的错误率。

为了让组织准备好接收和整合传感网格，美国防部和空军领导人必须首先解决人力需求。尽管像传感网格这样的系统被设计成模仿人类的认知劳动，但分析人员的劳动对于质量控制和任务管理仍然是至关重要的，更不用说作为识别DNN内潜在篡改或系统故障的保障。现在还不是为预期的技术进步做出任何急剧的力量结构调整的时候，而这种技术进步离投入使用还有好几年的时间。此外，到目前为止，关于传感网将如何整合来自联合部队的数据，或者是否允许作战司令部像今天一样拥有自己独特的数据战略和情报资源的讨论很少。如果传感网由于来自一个服务部门或地理作战司令部的人为缝隙而无法为分析人员提供更多的情报来源，那么该系统是否真正做到了其设计者所宣传的？这些问题必须在联合参谋部层面加以解决和调和。最后，利用来自传感网的情报的组织必须认识到，当他们与机器合作时，他们很容易受到偏见和捷径的影响。了解外部压力和交战规则如何导致对机器输出的质疑失败，对于改善人机伙伴关系，真正使SIAS更加有效至关重要。

结论

美国防部和空军对人工智能在情报中的应用所进行的研究投资，对于确定部队应如何准备与传感网格进行人机合作是至关重要的。对领导人和一线分析人员进行培训，让他们了解在自动化、人工智能支持的SIAS中存在的道德难题和对手攻击的可能性，这对保护组织不传播错误信息至关重要。幸运的是，美国防部和空军ISR领导人主张在传感网格系统中采用以人为本的设计和培训模式还为时不晚，因为AFRL的工程师们正在继续努力为部队提供一个安全、务实的解决方案。领导人必须认识到以速度换取精确性的组织倾向，并理解精心设计的系统分阶段整合将是值得等待的。

成为VIP会员查看完整内容