北约SCI-341研讨会的主要科学目标是概述有关自主系统群体 (AS) 中态势感知 (SA) 问题的最新技术,并确定未来发展与北约行动的相关性。在广泛的领域研究了态势感知:太空、海洋、网络、社交媒体、特大城市。
这项研讨会的想法源于关于将自动化和基于人工智能的系统集成到无需人工直接监督即可运行的系统和集群系统。我们知道,就人类而言,良好的 SA 水平是成功执行任务的重要先决条件。因此,我们询问自动化系统和群体是否也是如此,以及群体的新兴使用如何影响人类 SA。
研讨会期间提交了所有八篇常规论文,除论文外,美国空军前首席科学家 Mica Endsley 博士发表了一篇主题演讲。
演讲分为三个部分:1)自主和态势感知,2)人类作为一个循环系统,3)群体智能和态势感知。第一场会议讨论了用于机器人和自主系统建模和仿真的群体控制方法、气象情报和合成环境。第二场会议讨论了如何通过群体展示、异常检测和可解释的人工智能为人类操作员提供更好的 SA。第三场讨论了通过群体任务分配的群体智能、使用合成环境的群体性能评估以及群体与群体之间的交互。
Session 1: 态势感知与自主性——3篇论文
Session 2: 人在循环系统中——2篇论文
Session 3: 群体智能与态势感知——3篇论文
A Comparison of Distributed and Centralized Control for Bearing Only Emitter Localization with Sensor Swarms(分布式和集中式控制在单方位辐射源定位和传感器群定位中的比较)
传感器群具有增强态势感知的潜力。如果传感器群中多个资产协同工作,则存在两个挑战:优化传感器部署和同时最大限度地减少操作员的工作量。如果管理单个资产的传感任务使操作员超负荷,传感器需要自动调整其行为。如何实现控制结构有多种可能性。
本文提供了对路径规划的调查。要完成的任务是使用两个仅承载传感器的平台定位多个目标。作者认为,“通过目标分配算法解决路径规划问题特别有趣,因为存在解决分布式系统上的线性分配问题的方法,仅通过动态通信图连接”。作者比较了六种不同的控制策略:分布式树搜索 (DTS)、分布式优化器 (DO)、分布式迭代计划交换 (DIEP)、中央树搜索 (CTS)、中央优化器 (CO) 和中央分配 (CA)。比较考虑了两个方面:一个场景中的所有目标都被本地化的时间,以及必要的计算时间。
中央控制意味着评估所有传感器/平台承载传感器的联合动作空间,并将最佳动作分配给每个单独的传感器载体。这种方法需要强大的计算能力,因为必须解决高维问题。作者建议在本地为每个平台规划行动。通过这种分散的方法,可以实现多个传感器的联合任务的协调行为,其中每个平台计算自己的控制向量并将其发送给其他平台。重复此过程,直到解决方案收敛。分散的方法通常不能提供最佳的联合解决方案。
在评估中,目标被认为是威胁;因此,平台需要与当前目标估计保持威胁距离。此外,不同算法的规划范围(h 总动作数,I 步数,具有恒定控制输入)是不同的(由作为首字母缩略词后缀的数字表示,例如 DTS3)。下图显示了三种评估场景:角度和水平/垂直、Circle-4 和 Circle-8。使用了两种不同的起始配置(相同和相反)。所有模拟都使用了 100 次蒙特卡罗运行。论文(Schily, H., Hoffmann, F., Charlish, A. A Comparison of Distributed and Centralized Control for Bearing Only Emitter Localization with Sensor Swarms. STO-MP-SCI-341)的第2章提供了详细的评估设计。
结果如下。总体而言,CA3 显示出可喜的结果:它在角度、水平/垂直、Circle-4 和 Circle-8-Same 场景中表现最好。对于 Circle-8-Opposite,“CA 算法很难找到最佳分配。这是因为平台在决定是按顺时还是逆时针访问目标时并不相邻。”对于这种情况,DIEP 和 CP3 表现最好。DIEP 的表现与具有相同时间范围的中央规划者相似。由于它需要较低的计算成本,因此它被认为是路径中央规划的有趣替代方案。对于每种方法,较长的规划范围对结果是有益的。
作者认为 CA 算法“似乎在集中式和分布式规划方法之间实现了很好的折衷。在所进行的实验中,它唯一的弱点是同时定位许多目标,这些目标相对于传感器平台的起点在各个方向上均匀分布(第 8 圈)。”
AI-Powered High Resolution Weather Intelligence Platform(AI驱动的高分辨率天气智能平台)
天气对 UxV(无人驾驶车辆)的运营安全和效率有重大影响。风、湍流、极端温度、湿度、闪电、云、结冰和降水只是许多局部天气现象中的一小部分,这些现象决定了 UxV 在给定区域可以做什么或不可以做什么,我们对这些微观现象的理解实时和预测对于任务成功至关重要。当考虑成群的 UxV 时,挑战甚至更大,其中每辆车的态势感知 (SA) 都严重依赖于另一辆车。在当今的战场上,天气的影响以及我们预测和应对天气的能力,可以决定任务的成败。
Tomorrow.io 由军事飞行员创立,是世界上发展最快的气象技术公司。在短短的时间内,Tomorrow.io 已成为军事、航空和无人驾驶航空系统 (UAS) 行业的领先气象解决方案,客户包括主要航空公司、武装部队以及无人机和无人机行业的领导者。Tomorrow.io 的团队由 100 多名科学家、工程师、产品和业务经理组成。凭借在数值天气预报、人工智能和大规模并行计算以及航空、国防、产品开发和用户体验/用户界面 (UX/UI) 方面的丰富经验,Tomorrow.io 具有独特的资质,可以实现范式转变气象行业。
大多数天气预报在全球范围内都存在同样的运营差距。缺乏数据源,特别是在武装部队行动的偏远地区,以及没有雷达和气象站的地区,以及这些地区公开可用模型的粗分辨率,是缺乏准确性和细节的主要原因提供的数据和预测。此外,原始的、不可操作的天气信息的输出使最终用户(如 UxVs 操作员)的决策过程和 SA 支持变得更加困难。
Tomorrow.io 开发了一种整体方法来解决特定于 UxV 的天气挑战。相关的 Tomorrow.io 功能集成了新颖的传感技术、全面而灵活的数据同化引擎、定制的建模框架、机器学习技术以及用于灵活交付数据和见解的现代云原生软件架构的组合。
对于高质量的天气预报,观测(地面、空中、卫星)、模型(全球、大陆)和高性能(数值天气预报、大规模并行计算)计算是必要的。在大量 UxV 运行的地区,气象站或雷达站可能不可用,或者可能在相关空域上方进行采样。此外,这些地区的天气模型也可能不可用。该贡献通过提出高分辨率天气情报平台解决了这个问题;下图显示了用户界面。数据来自各种“传统和非传统传感技术”。这些模型能够摄取不同的数据源,包括 UxVs 传感器。这样做,可以提供“以亚公里空间分辨率实时飞行条件的完整图片”以及高频时间更新。在数据稀疏的地区,UxVs可以创建一个独立的天气观测“网络”。使用综合定制大气模型 (CBAM),可以预测长达 14 天。提议的系统为 UxVs 操作提供了几个好处,包括快速更新、多传感器 UxVs 天气分析和高分辨率历史基线分析和预测。UxVs 跟踪和提取原位数据支持人类操作员进行实时决策。此外,从高分辨率数据中获得的洞察力和警报可以在必须快速做出决策的情况下为操作员提供支持。开发和发布时间表计划从 2019 年到 2025 年。
Synthetic Environment for Robotics and Autonomous Systems(机器人与自主系统的合成环境)
在未来的军事作战环境中使用机器人自主系统(RAS)和机器人群将成为现代战争的主要挑战之一。自 2016 年以来,北约建模与仿真卓越中心 (M&S COE) 一直在开发用于概念和能力开发的机器人研究 (R2CD2) 项目,以分三个年度阶段交付开放、可扩展、模块化、基于标准的 M&S 工具原型架构,用于 RAS 和 Robotic Swarms 的实验。具体来说,它侧重于将 C2SIM 标准扩展到无人自主系统 (UAxS) 的实验,以便在指挥与控制 (C2) 和仿真系统之间交换命令和报告。R2CD2 第二代架构实现了战术网络模拟和网络效果功能,以支持军事通用作战图片 (COP) 表示中公认的网络图片层的实验和概念验证,以扩展和改进 RAS 和集群态势感知在战术和操作层面。该实验于 2020 年进行,通过多个互操作性标准证明了在三个不同位置的不同系统之间进行复杂交互的可行性。
该架构的最后一代,名为 R2CD2 EVO,引入了虚拟模拟、用于真实和模拟无人机系统 (UAS) 的真实地面控制站 (GCS) 和提供包括网络层的 RAS/Swarm COP 的 C2 系统。该平台使我们能够研究、分析和对抗 RAS 系统和群体,根据任务任务和模拟系统的动态姿态,突出描述对来自建模传感器的外部刺激作出反应的过程的行为。平台数据设置场景是基于未来特大城市模型 (WISDOM) 实施的城市环境开发的,并将兵棋推演概念扩展到 RAS,充当训练测试场,不仅用于在军事期间使用 RAS 系统人员的标准培训任务,也可作为能力发展的态度训练算法。作为研究和开发活动的结果,R2CD2 EVO 被提议作为开发 RAS 合成环境的基石,以支持北约和各国在多域 UAxS 上的概念开发、实验、培训和演习活动。
Swarm View: Situation Awareness of Swarms in Battle Management Systems(群体视角:战斗管理系统中群体态势感知)
多架无人机(UAV)的使用意义重大。因此,人机交互及其交互设计变得越来越重要,特别是在战场上的军事侦察中。然而,无人机群规模的不断扩大带来了许多需要解决的挑战,例如具有高动态性的复杂情况增加了对用户的需求。
作者解决了人机交互的人体工程学显示问题,重点关注战斗管理系统中的集群。随着无人机群规模的增加(例如,多达数千个战术无人机),情况可能很快变得复杂和混乱。因此,需要仍然能够为群体的所有者提供 SA 以避免信息过载的解决方案。
首先,该贡献提供了文献调查的结果。一方面,作者提取了单个人类操作员必须监控大群体时可能出现的挑战:复杂的操作画面、高动态、信息过载以及对用户的需求不断增加。另一方面,它们为符合人体工程学的显示器设计提供了现有的指导方针。基于此,作者设计了四种不同的面向应用的原型布局,针对鼠标、键盘和触摸输入进行了优化:
基于领导者的呈现:群体分成团队;可视化一个团队的领导机器人。 基于群体的呈现(下图):将整个群体作为一个单元;整个群体的可视化,单一机器人可分解。 基于区域的呈现:区域、POIs等的可视化;与环境的交互。 基于缩放的呈现:缩放级别而定的可视化;信息级别由用户决定。 所有布局都包含六个主要组件,这些组件适用于各自的布局。地图 (1),基于谷歌地图 (2021) 是基础并位于显示中心。它提供缩放、小地图、带有附加信息的蓝军和红军、未知对象以及区域和兴趣点 (POI) 选项等功能。区域管理 (2) 允许用户创建例如操作区域 (AO) 或 POI。任务管理 (3) 包含一个时间表,其中包含所有计划的、当前的和已完成的任务,并允许为群体或部分群体计划新任务。状态信息 + 直播 (4) 显示集群或无人机的状态。直播的显示尺寸(来自选定的无人机或区域)是可变可调的。Red Force 信息 (5) 在单独的列表中显示未知和已知对象(除了地图显示)。辅助系统优先考虑支持用户决策的传入对象。对话框 (6) 显示传入的警报、警告和消息。 这四种布局将很快与德国陆军侦察部队的焦点小组进行评估。根据来自特定军事角色和层级的反馈,将迭代调整布局。进一步的开发/实验将确定 SA、用户体验和直观性(实验室和现场测试),并为交叉设计和群体交互用户界面提供建议。
Anomaly detection and XAI concepts in swarm intelligence(群体智能中的异常检测和XAI概念)
对于群体智能中的人类操作员来说,关键情况下的决策支持至关重要。自主系统共享的大量数据很容易使人类决策者不堪重负,因此需要支持以智能方式分析数据。为此,使用了用于评估情况和指示可疑行为或统计异常值的自主系统。这增强了他们的态势感知能力并减少了工作量。因此,在这项工作中,我们强调为检测监视任务中的异常而开发的数据融合服务,例如在海事领域,可以适应支持集群智能的运营商。此外,为了使人类操作员能够理解群体的行为和数据融合服务的结果,引入了可解释的人工智能 (XAI) 概念。通过为某些决策提供解释,这使得自主系统的行为更容易被人类理解。
作者解决了由于自主系统共享大量数据而导致的信息过载问题。为了缓解这个问题,他们建议通过两种智能数据分析方式来帮助人类操作员。第一种方法是自动异常检测,这可能会加强人类操作员的 SA 并减少他们的工作量。第二种方法是可解释的人工智能 (XAI) 概念;它们有可能使群体行为以及异常检测结果更易于理解。
作者认为,控制一群无人机仍然具有挑战性。一方面,(半自动化)群体代理“必须决定行动方案”;另一方面,人类操作员必须决定他们的行动,例如与群体互动。提出的建议力求改善人在循环中。考虑到海上监视的应用,使用非固定代理的动态方法具有几个优点。首先,某些场景只能使用动态方法进行管理;其次,与固定监视传感器相比,代理更便宜;第三,在多个地点灵活使用代理可以减少操作群体所需的人员数量。然而,情况评估仍然需要知情的操作员。
作者认为,在海洋领域用于船舶分析的异常检测算法可能适用于引入以下场景的群体。“假设我们有一个群体来支持海上船只,这些船只不仅会收集它们自己的传感器系统可用的数据,还会收集所有资产的数据。所有来源收集的信息都需要融合成一幅连贯的画面。这不应仅限于 JDL 数据融合的第一级,而应包括更高级别的数据融合过程,以获取有关附近所有对象的可用信息。” 数据驱动方法能够应对这种情况。文献提供了三种检测位置和运动异常的方法:统计解释为与正常行为相比的异常值;聚类分析聚类相似的轨迹和确切的路线;用于建模正常移动模式的深度学习方法。为了应对更复杂的场景,包括船舶周围环境(基础设施、地理、天气等)在内的算法是必要的。在某些复杂异常的情况下,区分正常和异常行为需要基于规则、基于模糊、多智能体或基于概率图形模型的算法。对于所有提到的算法类别,作者都指出了大量的示例算法。
一些算法是黑盒模型,因此,它们的解释对于人类操作员来说是复杂的。XAI 概念可以帮助缓解这个问题。XAI 概念旨在“提供道德、隐私、信心、信任和安全”,并努力在“它已经做了什么、现在正在做什么以及接下来会发生什么”中明确决策。,从而提高了人工操作员的 SA。考虑到 XAI 模型,模型特定方法(仅限于某些数学模型)可以与模型无关(适用于任何类型的模型)方法区分开来。
在目前的贡献中,重点是与模型无关的方法。考虑到这些,局部解释方法(解释整个模型的单个预测结果)可以与全局解释方法(解释整个模型的行为,例如以规则列表的形式)区分开来。此外,作者使用特征属性、路径属性和关联规则挖掘来区分方法。通过特征属性,“用户将能够了解他们的网络依赖于哪些特征”;方法示例是提供全局和局部可解释性的 Shapley Additive Explanations (SHAP) 和指示“模型在进行预测时考虑的输入特征” 的局部可解释模型无关解释 (LIME)。路径集成梯度(PIG,使用局部解释)等路径属性提供了对模型预测贡献最大的特征,从而深入了解导致决策的推理。关联规则挖掘(ARM)是另一种使用全局解释的方法,发现大型数据集中特征之间的相关性和共现。ARM 方法使用简单的 if-then 规则,因此被认为是最可解释的预测模型。可伸缩贝叶斯规则列表 (SBRL)、基尼正则化 (GiniReg) 和规则正则化 (RuleReg) 技术被认为适用于监视任务。
作者认为,使用这样的 XAI 概念,人类操作员(决策者)可以更好地理解、更好地控制和更好地与一群自主代理进行通信,尤其是在具有挑战性的环境中。总而言之,将异常检测和 XAI 概念这两种方法应用于人类在环、用户对群体智能的理解和信任可能会得到改善。
A New Swarm Collection Tasking Approach for Persistent Situational Awareness(一种基于群体集合任务的持续态势感知方法)
涉及移动自组织传感器代理的群技术应用越来越多,并且可扩展到多个军事问题领域,例如战术情报、监视、目标获取和侦察 (ISTAR)。在 ISTAR,一组半自主传感器协同完成收集任务和执行,以弥合信息需求和信息收集之间的差距,以保持持续的态势感知。最先进的贡献在很大程度上暴露了多维问题的复杂性。由于传感器平台资源容量和能量预算有限,它们通常采用特定的规定传感器行为,导致过度保守的连接约束、有偏见的决策和/或融合解决方案结构。这些可能会任意传达显着的机会成本并对整体绩效产生不利影响。
作者介绍了一种用于 ISTAR 中移动 ad hoc 代理(情报、监视、目标获取和侦察)的群体收集任务的方法。目标是利用代理来增强持续的态势感知,代理弥合信息需求和信息收集之间的差距。为此,半自主代理必须协同完成收集任务和执行。尽管板载处理能力和能量预算有限,但要实现这一目标是一项挑战。
下图(左)显示了一个典型的收集任务上下文:“它定义了一个网格认知图表示,反映了对特定感兴趣区域的态势感知,捕获了关于单元占用和目标行为的先验知识、信念和/或已知概率分布”。
所提出的群体收集任务分配方法提出了集中收集计划,由群体领导者偶尔调解;然而,计划的执行是分散的。简而言之,“该方法结合了一种新的紧凑图表示和一个合理的近似决策模型来执行传感器代理路径规划优化,受周期性连接的影响,以实现信息共享、融合、态势感知和动态重新分配/规划”。
用于收集计划的带有反馈决策的新开环模型(下图,右)可在后退的时间范围内最大化收集价值。周期性群连接支持汇节点的观测传播、数据/信息融合、情况评估和重新规划。向汇节点的周期性最大收集传播考虑到能量约束。传播集合的通信规划/路由方案利用最小生成树来最小化能量消耗。有关包括相关数据在内的详细信息,请参阅论文第 3 章中的大量论文部分。
由于作者,所提出的方法扩展了群体的能力,以更好地满足任务需求,并允许显着扩展观察区域。“如果使用精确的问题解决方法,新的问题表述也为解决方案最优性的可计算上限铺平了道路”。
A Framework Based On Deep Learning Techniques For Multi-Drone ISR Missions Performance Evaluation In Different Synthetic Environments(不同合成环境下基于深度学习技术的多无人机ISR任务性能评估框架)
本研究旨在关注当今模拟器的合成环境如何与应用于视频分析的神经网络和深度学习协同作用,特别是使用多无人机/集群系统执行 ISR 任务。事实上,用于模拟和游戏的现代虚拟引擎已经达到了让不那么专心的观察者感到困惑的真实水平。因此,自发出现的问题是,即使是人工智能也可以被“欺骗”,从而改变无人机上的行为和决策,从而改变机队的最终行动。也就是说,用更科学的术语来评估无人机搭载的自动学习系统(例如神经网络)的特征类型和数量是否可以从合成图像中提取并反映在具有显着优势的连续环境中。训练过程的精细和/或昂贵的阶段,例如数据集创建和运动前测试。事实上,能够随意对模拟世界中的元素进行建模,可以可靠地再现甚至在现实生活中无法再现的情况和场景(例如,用于检测闪电或爆炸的网络),从而允许创建根据现代深度学习方法,数据集大小一致,并减少了恢复这些图像的物理时间,同时还考虑了机载计算能力和容量的限制。此外,在降维过程中,由于真实场景的离散化导致的次要细节是否可以在某些情况下充当数据集预处理中的主成分分析 (PCA) 过滤器,这是值得询问的。
所提出的研究方法将是实验性的,并将预见到应用的双重方向。在第一阶段,我们想了解在真实数据集上训练的神经网络在一架或多架无人机上如何在不同的合成环境中表现。将检查三个不同的模拟器,即 VRForces、ROS Gazebo 和 VBS4,以了解图形细节的增加将如何影响准确度和精确召回曲线。拟议论文中提出的研究涉及人工智能对象识别和跟踪领域,特别关注定位问题,因此检测特定类别的对象,如人和车辆。在我们研究的第二阶段,网络将准备好部署,考虑到可能准备使用 COTS 或定制自动驾驶仪的硬件,使用协作和智能机队模拟 ISR 任务的真实场景的无人机。在这个阶段,我们集中在一个名为 SWARM 的项目上:一个大型工业研发 Vitrociset 项目。它是一个启用人工智能的指挥和控制 (C&C) 系统,能够执行和审查异构无人机小型/微型协作机队的 ISR 任务。SWARM 将用作所提出框架的测试平台,在不同的合成环境中测试和评估多无人机 ISR 任务的深度学习技术。
下图(左)显示了仿真系统架构。实验框架包含三个合成环境。对于 VBS4,实现了一个使用一个或多个无人机生成合成场景的插件。每架无人机都配备了能够生成视频流的虚拟摄像头。对于 ROS Gazebo,“图像是使用配备 IMU 和可通过文件配置并作为 C++ 插件实现的 Iris 无人机相机获取的”。为 VR-Forces 环境实现了类似的插件。使用针孔模型对三种环境的场景视图进行标准化,以实现相同的观看特性。
单独使用合成图像可能会引入新的偏见。因此,作者应用经典的计算机视觉和图像处理方法来识别在 VISDRONE 数据集(真实)图像中检测到的对象与在三个模拟器中识别的对象之间的差异。与真实数据相比,将人和车辆的轮廓提取为对象类显示信息丢失。
评估场景使用城市环境,包括人、车辆、道路、房屋和植被。飞行计划包括低速(1-3 m/s)、5-30 m 的地面高度和静止的天气条件。有效载荷视频流的采集使用 30 fps 的帧速率。生成了三个版本的 TFRecords(标准张量流数据格式)(过滤应用于边界框的区域:非、100 像素和 200 像素)。所有三个测试集都包含 6 个对象类别(人、汽车、货车、卡车、公共汽车、电机)。
考虑了 11 个 DNN 模型,使用 Tensorflow 作为 AI 框架。大型数据集 COCO、KITTI 和 VISDRONE 被视为预训练数据集。使用 Fastern RCNN Resnet(在 VISDRONE 数据集上预训练)获得了最好的结果。VBS4 拥有三种模拟环境中最好的图形引擎,是最接近现实的一种(下图右)。总体而言,合成环境被证明是在现实世界中训练的神经网络的良好测试平台(最佳情况下准确率约为 80%)。
Interacting Swarm Sensing and Stabilization(交互群感知与稳定化)
最近,在生物学和物理学中研究的群体理论已被应用于机器人平台,包括将群体应用于防御。虽然相关工作侧重于单个群体行为,但这一贡献将调查扩展到多个相互作用的群体及其产生的模式。作者提供了一种理论方法来研究具有非线性相互作用的两个群体的碰撞。目的是预测在什么情况下两个群体在两个群体碰撞后可以结合形成一个新引擎(mill)。这个问题的背景是在某些军事场景中需要重定向或捕获一个群体。
下图(左)显示碰撞后的状态取决于碰撞角度以及耦合强度。下图(右)显示了一个示例,其中两个群体(最初处于植绒状态)接近融合状态。这种行为的原因是,“当两个群体接近时,每个智能体开始感知智能体内部群体的力量,导致两个群体围绕彼此旋转,同时保持接近恒定的群体间密度。随着时间的推移,这两个群体慢慢地放松到由来自两者的均匀分布的智能体组成的充分混合的融合状态”。
应用的分析方法依赖于这样的假设,即在碰撞时,两个群体在一个极限循环附近振荡,每个群体围绕另一个群体旋转,同时保持近似恒定的密度。使用确定极限圆状态稳定性的刚体近似,可以做出仅取决于物理群参数的预测。这为小碰撞角的临界耦合提供了一个下限。对于对称群体(具有相同的数量和物理参数),从分散到融合的过渡点类似于逃逸速度条件,其中临界耦合与每个群体的平方速度成比例,与每个群体中的智能体数量成反比。
使用包含 5-8 个 Crazyflie 微型无人机的混合现实设置,在初步碰撞群实验中证实了理论预测。实验考虑了 8 个真实机器人 + 8 个模拟机器人、5 个真实机器人 + 45 个模拟机器人和 50 个模拟机器人的场景。对于所有情况,都观察到固定融合。初步结果表明,我们可以根据选择的物理参数让一个群体捕获另一个群体。此外,基于已知的参数和群体大小,它还应该是可预测的,当碰撞群体不会形成融合状态时,即一个群体无法捕获另一个群体。未来的工作将解决如何进入散射状态或保持聚集状态,以及将通信延迟或内部和外部噪声效应的影响纳入理论。