《基于专家衍生决策策略的增强自主智能体》

无人驾驶飞行器（UAV）的结构由几个关键组件组成，以优化其效率以及在空战或空中监视应用等关键环境中的可操作性。本研究工作是在自主协作智能体中实施一种创新的人类专家评估策略，以确定无人飞行器的威胁等级。因此，目标是使用一种称为 “策略捕捉 ”的认知工程技术，配置与人类认知相一致的作战威胁评估能力。这包括以下两个步骤。第一步是将认知建模系统集成到智能体中。该系统根据专家先前的决定，提供有关威胁等级评估的建议和警告。因此，它可以利用从人类推理中提取的真实决策模式，提供透明和可解释的能力。换句话说，这种认知建模系统有助于将专家决策中的一些隐含要素显性化。此外，还采用并部署了一种多模型方法，使用七种同步监督机器学习算法，通过模仿专家决策来预测威胁程度，而不会受到疲劳、压力或分心的影响。这些算法基于经过增强和微调的 python scikit-learn 模块： 逻辑回归（LR）、决策树（DT）、K-近邻（KNN）、多层感知器神经网络（MLPNN）、奈夫贝叶斯（NB）、支持向量分类器（SVC）以及随机森林（RF）。第二步是将专家策略提供的响应传送给智能体的态势感知模块。为此，我们将专家策略确定的威胁等级与自主代理已确定的初始威胁等级进行融合。为实现这一目标，我们利用模拟环境提供了一个关键资产保护用例。该使用案例由四个威胁等级组成，从犯罪意图到毫无头绪不等。该解决方案试图通过根据威胁等级管理或优先处理要跟踪和消除的目标无人机数量，最大限度地提高 “真实 ”威胁的消除率。换句话说，防御性无人机蜂群通过首先处理犯罪特征来确定其响应的优先级，目的是以最高优先级解除威胁，然后继续处理粗心大意的特征，最后是无知的特征。防御蜂群采取 “看门狗 ”行为，适应威胁级别的突然变化，例如，当任何威胁过于接近保护区时。值得一提的是，在没有专家策略的情况下，所有敌方无人机都被视为具有同等威胁，没有优先级之分，从而导致无法消除实际威胁的更大风险。未来的工作方向包括研究如何通过在线学习和可解释的人工智能方法实现相互理解和预测能力，从而改善人类-自动驾驶团队合作。此外，通过这种方法实现的另一种潜在破坏性能力可能是让无人机蜂群学会在线预测对手无人机的行为模式，以便在飞行中进行调整，实现认知空中优势。

图 1：SE-STAR 模拟展示了红方和蓝方力量以及地面控制站。

自主系统的发展被视为提高人类操作员效率和性能的工具，有助于减少人类的工作量、压力和失误[1]。自主协作智能体的兴起引发了监视和侦察领域的重大转变[2]。一个常见的误解是，这种协作型智能体将取代人类或消除人为错误。自动化悖论指的是，事实上自动化会引发新类型的错误和新类型的问题，例如由于滥用自动化而导致人类技能和性能下降[3]。此外，能否信任自主系统通常也是一个问题，尤其是在国防和安全领域，在这些领域，通常必须让人类参与其中。然而，这也引发了诸如 “环路中人类的虚假保证 ”等问题，在这种情况下，人类往往被赋予监督者的角色，对非常复杂的完全自主系统进行监控，但却导致了态势感知（SA）的缺失，甚至降低了人类的整体影响力，即使人类仍然需要对系统进行验证或下达某些指令。态势感知不仅对人类的表现至关重要，而且也是自主系统和人类-自主团队合作中的一项挑战。

1.1 团队态势感知（TSA）

团队态势感知（TSA）是团队协作性能的关键组成部分。它可以被描述为 “知道你周围发生了什么”，并知道如何理解、解释和提取有关环境的信息[4]。当涉及到决策时，SA 还与人类的一些偏差有关，例如：i) 注意力狭窄/钝化；ii) 记忆力不足；iii) 工作量、疲劳、压力、反应时间；iv) 数据超载；v) 不适应的心理模型（例如，非逻辑推理或不当行为）；vi) 不使用或滥用自动化系统 [5，6]。在此，我们尤其关注的是如何让控制无人驾驶飞机的智能体进行有效的情况评估这一挑战[5]。在这项研究中，我们开发了一种新的潜在方法，不仅能为人类提供决策支持，还能为自动系统提供决策支持，有助于在协作式自动无人机系统的应用中保持高水平的 SA。

1.2 无人机的态势感知与人机协作

人机协同（HAT）是指人类与自动化系统之间能够相互依赖地协调合作，以完成共同的任务或目标[5]。人类和机器都缺乏 SA 会对团队的表现产生不利影响。对无人系统在军事上的使用进行的研究发现，33% 的事故是由人类直接造成的，67% 是由于机器的问题造成的[8]。美国国防部的其他统计数据称，人为失误造成的事故占军方无人机系统事故的 20%- 70%[9]。这些指标因 HAT 而异，但人类常见的错误模式有：基于技能的错误、程序性错误、核对表错误、操作不当或对自主系统控制过度或不足，而机器则往往在设置、监控、检测和诊断失败等方面出现问题 [8]。研究人员证明，混合主动目标识别，即由一个智能体提供协助，在视觉搜索空间中定位潜在目标，实际上随着时间的推移，性能持续恶化[10]。他们认为，接受过检测特定刺激训练的智能体，其表现可能不如机警的人类[10]。因此，在设计 HAT 框架时，必须根据每个智能体的局限性和优势，探索降低风险、提高安全性和可靠性的方法。自主系统在可解释性方面面临着重大的信任挑战，因为有时这类系统往往难以提供可靠、可理解的信息，以确保充分的合作与协作[11]。缺乏对智能体的认识和理解只会强化环外现象[12]。

1.3 目标

提出了一个原型解决方案，旨在让智能体向人类专家学习如何评估特定类型的情况。本研究选择的用例包括在反无人机场景中进行威胁评估，以保护关键资产。这项概念验证调查是认知系统工程（CSE）研究工作的第一步，旨在利用人在回路合成测试环境反复测试和改进 HAT 能力。认知系统工程方法侧重于提高人类理解和控制系统的能力，通常在开发自适应/智能/学习框架方面发挥关键作用[13]。虽然过去的工作推进了用于人类与无人机协作的可调节自主方法[13, 14, 15, 16, 17]，但适应性大多基于环境、使用案例和任务目标（例如，改变每个操作员的无人机数量）[14]。然而，还没有研究通过使用专家建模将情况评估策略转移到智能体以增强系统自主性和 HAT 协作能力来证明这种可调整性。本文第 2 节介绍了拟议框架，第 3 节介绍了威胁检测应用案例，第 4 节介绍了方法，第 5 节介绍了结果，第 6 节介绍了结论。

框架与设计：专家建模与自主智能体

本文研究的新解决方案结合使用了基于人工智能的决策支持系统 “认知阴影”（专家阴影和自动学习观察到的决策/行为模式；[18, 19]）和人工智能强化智商协同合作伙伴（SPARQ），后者是一个用于实施和优化协作自主系统的平台。这两个系统被合并成一个联合能力框架，在这个框架中，人类操作员和智能体可以共同学习、协调和共享信息。这种 HAT 使智能体能够为完成联合任务而协作，并反映了具有高度自主性的任务管理互补自适应框架[17]。

2.1 SPARQ

SPARQ 是一种人工智能体解决方案，能够与人类操作员协同工作，并创建复杂的多功能协作平台。SPARQ 可实现多智能体用例的开发、部署和测试，其中其他智能体可以是人工的，也可以是人类的。通过使用其相关的组队框架，它允许人类和智能体朝着共同的目标合作。SPARQ 的 “数字孪生 ”由三个主要部分组成：i) 感知能力，包括利用传感器和仿真模型来表示和理解人工智能体的当前情况及其历史；ii) 预测能力，包括根据假设情景预测当前情况可能如何发展的能力；iii) 决策能力，包括根据感知和预测模块的输入制定行动计划的能力。该系统已利用无人机群、地面控制站和智能传感器等真实硬件或操作系统进行了实施和测试。它能够让有组织的团队组成蜂群。这些由人工智能驱动的系统具有实时适应和重新配置的能力，可以自主执行复杂多样的任务。

2.2 认知阴影

Cognitive Shadow 使用最先进的策略捕捉方法，结合多种监督机器学习算法，实现了专家决策和行为模式的自动建模[20- 21]。这种源自专家的认知模型支持一种称为 “判断引导 ”的过程，在该过程中，模型往往比人类更可靠，因为这些模型不受疲劳、压力、分心和精神超负荷的影响[22, 23]。使用认知影子技术多次观察到这种效果，从而成功降低了 4% 到 36% 的错误率 [22-24]。将 Cognitive Shadow 集成到 SPARQ 中可实现决策支持系统的个性化，使团队伙伴（智能体和人类飞行员或操作员）在优化任务性能的同时获得实时建议。此外，它还能根据专家政策对信息进行优先排序，并提取上下文信息需求。它通过两种方式让人类参与到智能体的决策中：i) 使用经过人类专家训练的人工智能算法；ii) 实时建议和互动[25]。这种方法支持可解释性和透明度，因为每个决策都是基于人类的专业知识和理解。它不仅为人类在容易出错的挑战性条件下提供支持，也为无人机蜂群等自主协作智能体提供支持。

威胁分类

本次调查选择的使用案例侧重于利用无人机系统探测受保护设施周围的威胁，从而加强国土安全。使用数字孪生无人机架构在情况监控和异常检测方面迈出了重要一步，从而增强了安全性[27]。

3.1 威胁检测类型

威胁评估在很大程度上取决于环境和情况。在本研究中，我们将重点关注用于保护禁区的无人机对抗措施。重要的是要考虑环境中可能存在的不同类型的威胁，以便模仿和复制其发生的现实。威胁类型通常基于无人机的不同用途，如民用、恐怖主义、军事或犯罪用途[26]。恐怖分子恶意使用无人机的例子可能是监视或自杀，而对平民的体贴使用可能是灾难响应、旅游使用和电影拍摄、援助和供应，甚至是商业广告[26]。然而，其他研究则侧重于不同类型的威胁，如黑客攻击、欺骗、干扰、恶意软件感染、硬件攻击等[26, 27]。对于本用例，我们依靠过去的威胁等级评估工作来确定威胁等级和因素[28]。

3.2 现有的无人机威胁评估方法

已研究出多种威胁评估和检测技术。一种方法侧重于非合作无人机监控的恶意意图和最终目的地估计[29]。还有一些方法使用基于规则的入侵检测，这种方法是通过定义所关注的攻击类型并将其实施为 “鲁莽攻击”、“随机攻击”、“机会主义攻击”，从而最大限度地减少检测误差，包括假阳性率和假阴性率。不过，这种方法往往过于简单，无法识别未知类型的攻击 [26]。根据某些传感器（如声学检测、运动或摄像头检测、热检测和雷达探测）的优先级，方法可能会有所不同[8]。这些方法的威胁评估流程基本相同。它包括：i) 检测阶段，涉及识别实体的能力；ii) 鉴别能力，即接受某些输入模式并拒绝其他模式的能力；iii) 基于飞机类型（战斗机和轰炸机）的分类步骤；iv) 识别不同类型或级别威胁的步骤；以及 v) 确定需要采取的应对行动类型。

3.3 威胁评估算法与特征

部署智能和 HAT 平台可以改善国土安全和任务安全，其中 SA 被认为是多飞机任务的战术优势和战术轨迹规划的主要组成部分[28]。贝叶斯网络模型是利用人工智能进行威胁评估的最常用方法之一。文献[28]中的一个例子利用四个事件节点证明了这种方法的可行性：i) 识别类型（如雷达成像、电子、红外或可见光成像侦察）；ii) 地形特征（如敌方武器位置的地形和地貌特征数据）；iii) 天气类型（如天空能见度）；iv) 电磁环境（EE），如辐射、被敌方设备探测到的概率。这些特征有助于评估威胁程度或探测到恶意无人机的概率。同样，文献[30]证明了在 HAT 场景中战术无人机决策需要动态贝叶斯网络和马尔科夫决策过程。这项工作还强调了专家指挥官如何进行评估，如推理和决策如何/何处/何时部署可用资源，以提高生存能力和完成既定任务的概率[30]。这与目标类型、武器类型、所属关系（敌、友、神经或未知）、与所关注实体的距离、探测半径、武器射程、速度、方向和地形类型等特征相结合。他们将这些特征编码到基于规则的模型中，以评估分类效果。文献[31]中的其他工作展示了针对无人机威胁的辅助决策支持系统。该系统利用基于知识和基于传感器的融合分类性能来划分威胁等级。他们测试了三种策略：i) 基于速度的规则，纯粹使用四个等级的加速度变化，其中加速度是风险指标；ii) 距离受保护设施的距离；iii) 速度和速度变化模式，分为 5 个等级。[32] 使用动态贝叶斯网络模型，使用了类似的特征。不过，根据领域专家的知识，他们增加了飞行器的类型和特征：轰炸机需要俯冲到中等高度进行精确定位轰炸，电子干扰机和预警机通常处于高空[32]。最后，[33] 利用贝叶斯网络使用了 EE 类型（军用、民用、无发射）、雷达类型（民用、军用）、干扰器（开与关）以及任务类型（侦察、轻型商用、非法飞行、其他）和速度（亚音速、跨音速、超音速、高超声速）。

图 3：认知阴影模型对四种可能类别的威胁检测结果。

方法

4.1 专家

第一步是对四位专家进行访谈。我们采访了来自泰雷兹陆地和航空系统公司的三位航空航天和导航领域专家，以及泰雷兹加拿大防务与安全公司和加拿大皇家骑警反无人机专家。第四位专家是一名战斗机飞行员。这些专家帮助提供了对情景的反馈意见，并帮助验证了专家政策建模的输入。除专家反馈外，我们还借鉴了上述先前的研究成果，以确保概念验证研究基于现实的假设。

4.2 模拟和无人机

这项研究涉及使用人工智能体和模拟敌方无人机，这些无人机需要根据定义的使用案例和专家反馈意见进行中和。每个模拟无人机都是由自主机器人航空（ARA）提供和开发的四旋翼无人机。为了训练我们的 HAT，我们使用了 SE-STAR 模拟器[34]，它使我们能够开发反无人机模拟场景。这样，我们就可以利用可定制的地形（具有特定尺寸的土地和保护区域）来模拟不同的威胁级别。模拟涉及蓝色智能体（防御小组）、红色无人机（需要评估的威胁）、地面控制站和雷达。通过将 SPARQ 与无人机模拟器连接，我们可以模拟无人机与环境之间的互动（即模拟传感和物理）。这种设置为我们的 HAT 团队框架和专家策略模型提供了一个测试平台。通过这种实现方式，我们可以拥有一个动态环境，并有可能进行人机交互。它还允许生成培训和测试数据、态势感知指标和团队协作性能。这种模拟测试有助于发现我们的框架和政策中潜在的差距、功能障碍和谬误，需要在随后的实地测试阶段之前加以解决。