《异构大规模自主系统测试、评估和控制（TECHLAV）》美空军443页

由北卡罗来纳州立农业和技术大学（N.C. A&T）牵头，与得克萨斯大学圣安东尼奥分校（UTSA）和印度理工学院西南大规模自主系统控制合作研究中心（SIPI）的合作伙伴共同开展的 “异构大规模自主系统测试、评估和控制（TECHLAV）中心 ”正在开展研究活动，以应对两个基本的重大挑战：

1.与人类操作员组队和集成

2.LSASV 的测试、评估、确认和验证，这些挑战通过三个交错的研究重点来应对：

• 任务 1： LSASV 的建模、分析和控制
• 任务 2：LSASV 的弹性控制和通信
• 任务 3：大规模自主系统（TEVLAV）的测试、评估和验证

以下是 TECHLAV 在本报告季度取得的主要成果。

任务 1（大规模自主系统的建模、分析和控制 [MACLAV]）

任务 1 开发了可扩展的方法，以改进大规模自主系统（LSASV）的建模、分析、定位、导航和控制。任务 1 有两个子重点： 1）LSASV 的建模和分析；2）LSASV 的合作定位、导航和控制。本报告季度的重点如下：

• 在自主系统建模任务中，开发了 UGV 和 UAV 的运动学和动力学模型，以代表测试平台中的系统。利用这些基线模型，将模型的性能与试验平台上的实际 UGV 和 UAV 进行了比较。对模型参数进行估计和调整，直到两者之间的误差减小到最小可接受范围。

• 由于 LSASV 中的自主系统可以依靠网络连接计算进行决策，因此对网络系统中存在的各类通信问题进行了研究。对 UGV 和 UAV 的物理模型进行了改进。进行了模拟和物理实验，以确保所开发的模型能够恰当地代表自主系统。MATLAB 中的 Truetime 仿真用于模拟现实的网络调度和信道效应。为物理实验开发了 Python 代码。

• 为减少系统中的时间延迟开发了状态估计技术。进行了模拟和实验，以确定使用多个 UGV 和单个 UAV 时模型的有效性。

• 提出了一种基于某些超参数训练的 3D 检测系统，该系统特别针对数据集中注释对象较多的类别，表现出显著的性能。然而，优化的训练方法可以更好地提高准确率，同时检测系统的速度仍然可以接受。

• 利用迁移学习来训练所提出的 3D 检测系统，特别是对于数据集中有较多注释对象的类别，该系统的性能更好。不过，还利用了迁移学习的其他方面，看看是否有可能进一步提高检测系统的性能。

• 利用迁移学习作为特征提取方法来训练所提出的 3D 检测系统，可以略微提高其性能，特别是对于数据集中有较多注释对象的汽车和行人类别。不过，为了了解检测系统是否有可能获得更好的性能，我们还研究了其他一些模型训练方法。

• 使用 “无遗忘学习”（LwF）方法来训练所提出的三维检测系统，该方法比特征提取方法和微调方法具有更好的性能，特别是对于系统中添加的新类别。这种方法有助于根据新任务调整系统，而无需根据现有任务的数据进行训练。

• 通过根据数据更新训练方法和网络参数，所提出的模型具有更高的准确性。根据数据的相关性和结构，适配算法也会有所不同。此外，使网络更深、更复杂会导致更多的计算时间，但却能获得更高的性能。

• 开发训练方法并根据数据更新网络参数。改进后的模型误差 MAPE（平均绝对百分比误差）为 0.051，这意味着与第一个模型相比，基于数据的模型性能提高了约 91%。

• 为了提高 LSASV 的自主导航能力，强化学习为增强这些系统的行为和可靠性提供了一个大有可为的机会。用 Python 开发了一个仿真环境，用于训练虚拟 UGV 在向目标位置导航时避免与周围障碍物相撞。

• 对遗传算法进行了研究，将其作为在整个学习过程中训练网络的潜在改进方法。要使该算法的结果更加一致，还需要更多的开发工作。

• 为了将训练好的算法部署到实际系统上，确保移动系统的安全性，并防止在测试环境中与实际障碍物发生碰撞，从而造成高昂的代价。

• 为了协助评估使用实体车辆的强化学习策略，用 Python 开发了一个图形用户界面应用程序，用于在整个测试过程中访问传感器数据（测距传感器、图像处理器、摄像机），此外还提供了键盘远程操作和强化学习策略选择等有用功能。

• 提出了一种新方法，利用虚拟现实技术在空旷的测试空间跟踪实际系统，并在其周围构建一个虚拟环境，以便检查真实系统与虚拟障碍物之间的碰撞。虚拟现实环境是在 Unity 中构建的，之前用于训练系统的 Python 模拟器通过使用 ML-Agents Unity 资产包被改编为该软件。

• 为了最大限度地提高智能绘图算法在各种环境中的可用性，对包含室内和室外物体类别的不同数据集进行了研究。对从 Kobuki Turtlebot 2 机器人上的传感器收集到的颜色、深度和激光雷达数据应用了数据融合技术。受限于当前的硬件资源，确定实时理解大量类别的过程包括首先在各种不同的数据集上训练深度网络架构，然后根据上下文逻辑动态加载训练好的网络权重。介绍了重要对象的映射过程，节省了存储空间和处理能力，同时提高了记录对象结构的分辨率。

• 利用具有本地坐标提供者的单目相机模型，对制图中合作定位的多车物体姿态估计进行了模拟。这些开发成果还将用于关联物体姿态，以唯一地识别和标记物体。具有深度摄像功能的平台也将与该系统结合使用，以获得对物体位置的更好估计。在模拟中加入了噪声和像素量化特性，以便更好地估计在硬件测试平台上测试算法时面临的实际问题。支持深度的相机平台与所开发的单目算法融合后，将增加更好的深度估计感。

• 使用 “ros-sharp ”和自定义的 Mapping Master 和 Mapper Agent 车辆模型文件，开发了一个与 ROS 兼容的 Unity 仿真环境。使用该环境的目的是提高合作定位和绘图任务视觉过程模拟的逼真度。云层、灰尘环境和光照的真实效果都可以通过该模拟环境进行建模。更复杂的环境将有助于视觉过程的开发，因为它们能更好地模拟真实世界的条件。

• 利用测试平台开发了一种仅对重要物体进行智能详细映射的流程，这有利于节省存储空间和处理能力，同时提高详细物体扫描的分辨率。

• 开发了几种复杂的算法，用于在动态对抗环境中自动设计自动驾驶车辆的轨迹。这些算法为自动驾驶车辆实时生成路径，以确保其安全性和到达所需目标的能力，同时尊重系统的动态性及其物理限制。由此产生的控制信号可实现平滑的制胜轨迹。此外，还对解决方案的正确性和存在性进行了全面分析，并对算法的复杂性进行了分析。解决了包括单目标避障、多目标避障在内的多个场景。

• 研究了云计算在多个 LSAVS 环境中的应用，包括自主船只、移动传感器网络和智能交通系统。开发了一种基于云计算的算法，用于控制一群自主船只，任务是从沉船中救出遇难者。该算法负责收集遇难者的位置信息，并指派船只快速有效地营救遇难者。第二种算法的开发目的是为移动传感器群找到最佳位置，以便它们能够最好地监测一个区域。第二种算法收集环境数据，利用数据建立信号模型，然后根据模型确定移动传感器的最佳位置。最后，研究了云计算在智能交通系统领域的应用。重点关注了车辆排队和路边单元安置领域，并对其实施情况进行了调查。

• 开发了利用云计算控制这些系统的算法，重点关注云层的架构。针对上述应用提出了云边架构，使云计算既能准确又能快速地解决问题。该架构能够在两种算法之间动态切换，一种算法使用数据子集提供快速解决方案，另一种算法使用所有可用数据提供精确解决方案。研究人员对这两种算法在雾计算环境中的位置进行了研究，从而使系统更加完善、性能更佳。在多个行业云计算系统上实现了云边缘架构。

• 利用行业云计算系统进行了机器人在环模拟，以测试控制算法的有效性。模拟包括机器人和边缘设备的物理装置。两者之间的通信通过无线连接实现，边缘设备和云之间使用有线连接。测试期间记录了网络性能，以帮助评估网络通信对云-边缘架构的影响。

任务 2（大规模自主系统的弹性控制和通信 [RC2LAV])

任务 2 开发系统化的技术、工具和算法，以提高在战场等动态和不确定环境中与人类操作员集成的大规模自主系统（LSASV）的控制结构和通信骨干网的可靠性和有效性。任务 2 有两个子任务： 1）为 LSASV 开发容错机制；2）为 LSASV 开发可靠的分布式通信网络。本报告季度的重点如下：

• 开发了异步和半异步诊断工具，可以诊断系统（故障或非故障）而无需重新启动被诊断系统。所开发的异步诊断器可在任何运行期间应用于系统，在此期间不需要了解被诊断系统的状态和条件。而半异步诊断仪则可在系统状态和条件信息不确定的情况下，以一组特定状态或模式的形式应用于系统。这些诊断器的优势在于，被诊断系统能够继续运行，无需关闭和重新初始化。

• 开发了一种主动学习技术来构建诊断器，通过监测设备的可观察行为来检测和识别发生的故障及其类型。该算法会主动向甲骨文提出两类查询：“成员查询 ”和 “等价查询”。收到这些查询的答案后，该算法将逐步完成一系列观测表，从而构建出故障诊断器。

• 考虑了现有的单个代理故障诊断和预测框架的制定、开发和建模技术。建议的故障诊断和预报框架算法包括多基础聚类和优化聚类跟踪。多基础聚类程序将基于主成分分析（PCA）的降维技术与无监督聚类技术相结合。最初，从信号数据中构建一个称为原始基础的单一主成分变换矩阵。然后使用指数集识别各个群组或模式的数据点。然后，使用相应的索引集为每个单独的模式重新计算单个主成分变换矩阵，从而为不同的运行模式建立不同的模式基础。根据这一理论，诊断和预报框架（DPF）的功能决定包括（i）多基础聚类（Multi-Basis Clustering）和（ii）优化聚类跟踪（Optimized Cluster Tracking）。多基点聚类策略通过使用无监督聚类策略降低主成分分析（PCA）的维度来巩固主成分分析。DPF 采用的基本技术包括数据降维、聚类和预测分析、预测、诊断、状态监测和决策制定。DPF 框架假定，系统接受通过数据采集设备从传感器信号中获取的元素作为输入向量。根据所使用的传感器类型，原始信号本身也可作为一个要素，因此无需进行要素提取过程。DPF 本质上是一个自主的不一致性识别渠道，它可以获取亮点/标志，并产生示范性和预测性结果，供决策使用。

• 创建的实验测试平台包括两个 Kobuki Turtlebot 2 机器人，分别称为 “故障 ”和 “助手”。在硬件配置方面，“故障 ”机器人仅使用车轮编码器提供运动信息，而 “助手 ”机器人则使用车轮编码器和 Kinect 传感器。当检测到故障时，有两种诊断方法可供选择。第一种方法称为本地方法。在这种情况下，故障机器人通过其里程计检测故障。第二种诊断方法称为合作法。有时，故障机器人无法确定故障，因为里程计本身也可能是故障源。辅助机器人扮演了重要角色。它使用 Kinect 直观地确定故障机器人的位置。通过这种反馈，故障机器人可以找到故障源。

• 另一个目标是从 “DJI Phantom 3 ”无人机在着陆和起飞条件下获取的数据集中重建故障噪声信号。我们使用了由 Chameleon 云服务托管的深度递归神经网络。在理想的稳定飞行条件下，所有四个旋翼都应以大致相同的速度旋转。在模拟故障情况下，通过无线电频率传递的控制信号是在嘈杂或损坏的状态下接收到的。无线电传输前的信号具有标准 PWM 的形状，而接收到的信号具有两种状态。在这种情况下，需要使用重构方法重建有问题的信号，以保持稳定，防止无人机偏差。数据集提供了四个无噪声的原始信号，它们来自发送方的控制设备，三个无噪声信号，一个有噪声的故障信号属于电机的一个驱动器。

• 实施 Pioneer 2 开发平台，寻找检测轮胎是否充气不当的方法。为了收集数据，机器人在不同胎压下直线行驶。实验期间收集的数据包括指令线速度和角速度、车轮编码估计位置、从 BNO055 IMU 传感器收集的 IMU 数据以及轮胎气压（实验开始时测量）。

• 在 Pioneer 2 平台上使用了循环神经网络（RNN）。与根据单个数据实例进行预测的传统深度学习网络不同，RNN 通过时间序列数据的反向传播来预测序列中的下一步。这种行为几乎完美地解决了手头的问题。然而，简单的 RNN 神经元架构存在一种称为梯度消失/解码的现象，即模型用于泛化自身的信息无法使其真正学习。为了解决这个问题，简单神经元被替换为长短时记忆（LSTM）单元。LSTM 在每次学习迭代时都会确定哪些信息是相关的，哪些是不相关的，从而避免梯度消失/爆炸的问题。

• 模糊逻辑被用作减轻预测故障和确定最有害系统故障的一种手段，以维护系统的稳定性和安全性。为了获取整个系统的性能指标，我们从硬件和网络的竞争点对潜在故障进行了分析。通过对 “先锋 ”无人潜航器进行不同程度的轮胎放气，测试并验证了单一子系统故障的性能。在该实验中，唯一需要做出的决定是修正 UGV 航向所需的角速度。第二个实验仅限于 DoS 类型的攻击，但可以很容易地扩展到许多不同类型的网络相关异常。该实验包括一个由主代理领导的 UGV 模拟系统，其组成代理使用系统中每个代理提供的位置和方向数据，根据领导者可能去的地方保持队形。模拟 DoS 攻击的方法是随机选择一个代理，其位置和方位数据主题发布者被停滞，数据传输延迟被模拟为 DoS 延迟。具体做法是按照与损坏的网络性能指标类似的均匀随机分布扣留数据。利用每个代理发布的每个数据包的序列戳，评估每个代理是否损坏的概率。随着系统的运行，该统计量会被逐步重新评估，直到预测出损坏的代理为止。一旦识别出损坏的代理，就会切断它与其组成代理的通信，以保持与系统其他部分的稳定性。

• 重点是检测未知故障。为了解决这个问题，学习方案从纯监督学习调整为半监督学习。为了测试这一点，我们使用了之前实验中使用的轮胎充气数据集。我们的目标很简单，就是在理想性能数据的基础上对未标记的数据集进行标记。具体做法是使用分层聚类来检测故障数据集群，并将其分配给相应的特征集。

• 未来的算法开发将受益于我们拥有更多控制权的研究平台。具体来说，这种平台可以用更可靠的测量变量来描述，并且可以诱导或移除故障，以快速收集数据和进行后续算法训练。我们选择 Unity 引擎作为模拟环境，是因为它具有生成训练数据的能力以及与物理原型集成的潜力。

• 任务 T2-5 研究了在 5G 无线框架下建立和开发自主代理之间可靠通信网络的可能解决方案。由于通信网络必须在没有通信基础设施的情况下发挥作用，我们选择了设备到设备（D2D）通信。然而，建立 D2D 链路需要解决一些技术难题，如干扰管理和频谱共享。为了应对这些挑战并提高数据传输速度，我们在毫米波频段建立了 D2D 链路。

• 在毫米波频段实现 D2D 通信需要解决一些技术难题，如阻塞检测、波束对准、天线波束宽度优化和对等关联等。

• 任务 T2-5 利用随机几何、博弈论和机器学习提出了新的算法和框架，以解决这些技术难题。本报告对这些方法进行了总结。

• 为了最大限度地降低失灵代理对整个网络系统性能的影响，使用模拟和分析方法纳入并分析了代理之间的信任。

• 通过最优搜索算法，可以为任意数量的代理找到合适的拓扑结构，从而尽快缩短整体通信时间。

• 神经控制器与自适应控制相结合，使工厂输出稳健地跟随参考模型的输出。

• 开发了一种新的物理层安全方法，既能确保私有化，又能避免传统加密方法在确保数字数据安全方面的高昂开销。在 5G 中，安全无线通信是标准的事后考虑，但将成为 NextG 基础设施的必要条件。

• 该算法克服了 K-User MIMO 中对完美干扰消除的要求，这种要求通常将发射器和接收器限制为只有三个发射天线和三个接收天线。

任务 3（大规模自主系统测试、评估和验证 [TEVLAV])

任务 3 开发并提供用于测试、评估、确认和验证异构大规模自主系统（LSASV）的技术和工具。任务 3 有三个子任务： 1）开发 LSASV 的正式模块化验证方法；2）对 LSASV 的突发行为进行数据驱动测试和评估；3）验证和确认人与系统的交互。本报告季度的重点如下

• 开发了一个运动规划和控制框架，在机器人掉线、通信链路故障和通信带宽容量有限的情况下，利用本地感知输入和通信信息，在动态环境中将大量机器人从当前位置转移到所需位置。该框架规划了蜂群的理想分布，并控制群中的单个机器人引导整个蜂群朝目标蜂群分布方向移动，以完成协调的协同运动。所提出的分布式控制法则与机器人排列无关，也不分配唯一标签来识别单个机器人。此外，还对算法的稳定性和收敛性进行了全面分析。
• 为异构自主代理团队的分散协调开发了一种自动任务分配方法。这些代理执行不同任务的能力各不相同。在所提出的框架中，当一个代理无法单独完成部分任务，但可以与其他具有互补能力的代理协作完成任务时，就可以进行协作。为此，我们开发了一种分层模块化协调算法，用于合成和执行局部行为树（BT），从而使代理能够共同完成一组任务。此外，还在开发的框架中加入了两级拍卖算法，以便在成本较低的车辆之间分配任务。所开发的框架允许通过嵌入式成本函数在总成本和完成任务的持续时间之间进行权衡。
• 本任务讨论了人机协作中的三种新型模型：人类认知性能模型、机器人操作信任模型和人类-多机器人性能感知信任模型。在人类认知性能模型中，根据相关的人类物理工作量、机器人附加工作量和人类认知工作量，为人机协作（HRC）框架提出了一种新的动态人类认知性能模型的数学表示方法。此外，考虑到信任量化方面的研究挑战，还根据相关的人类物理工作量/物理性能、人类认知工作量/认知性能以及机器人附加工作量/机器人性能，为人机协作框架提出了一种新型的时间驱动性能感知数学表示法，用于表示人类操作员对机器人操作的信任。此外，考虑到单个机器人的影响以及作为人类操作员附加工作量的机器人整体性能，将所提出的两个模型扩展到多机器人场景，以确定人类信任在多机器人操作中的影响。模拟结果验证了所有建议的协作模型，并分析了相关参数变化的影响。
• 在任务 3-4 中，我们将数据驱动的突发行为分析问题重新表述为在线数据流分类问题。考虑到环境条件的动态性和复杂性，突发行为的特征通常会随时间发生变化，而传统的学习分类系统无法完全处理这种情况。因此，我们将该问题转化为基于在线学习的分类问题。
• 我们开发了一种基于聚类的数据流分类框架，用于学习和分类来自自动驾驶车辆的感知数据流的非稳态特性。它能有效捕捉数据连续生成时的分布漂移和新数据模式的出现。此外，它还具有持续学习能力，只需少量人工监督即可自动更新知识库。
• 开发基于不确定性度量的多传感器融合方法。我们设计了一种 Dempster-Schafer 基于证据的算法理论，用于多传感器数据融合的目标分类。不同传感器获得的观测目标各种属性的测量值由信念函数表示。然后使用鲁棒融合算法将这些信念函数组合起来，以获得最终的信念函数。得到的最终质量被转化为概率分布。
• 开发了一种基于不确定性测量的多传感器融合方法。我们设计了一种 Dempster-Schafer 基于证据的算法理论，用于多传感器数据融合的目标分类。不同传感器对所观测目标各种属性的测量结果由信念函数表示。然后使用鲁棒融合算法将这些信念函数组合起来，以获得最终的信念函数。得到的最终质量被转化为概率分布，用于对观测目标的类别进行决策。开发的方法还被扩展到多类和多标签分类问题，以实现可靠的目标分类。- 基于心理生理学数据的实时传感，开发了有效区分人机可信交互的信任分类算法。此外，我们还开发了机器决策可解释性，它考虑到了个体操作者信任倾向的特征。可解释性公式是在 Shapley Additive Explanations 的基础上设计的。
• 提出了一个用于无人机实时运行期间性能评估的新系统，并开发了一个场景来验证所提出的系统。提议的系统在实验室环境中实施，并从外部传感器收集数据以建立预测模型。训练好的模型用于单架无人机的实时性能评估。- 从零开始开发定制无人机，利用感知推理引擎测试其性能和执行特定任务的能力。最初是在实验室环境中进行自主飞行，测试其性能。该无人机可携带 250 克外部有效载荷，机载视觉传感器套件用于三维传感，强大的英特尔计算机板用于高级导航算法开发。PX4 自动驾驶仪用于无人机的低级控制。
• 通过在传感器测量中引入噪声，分析了先前开发的感知推理引擎（PIE）的鲁棒性，并开发了一个模糊场景来测试 PIE 的性能。将两种机器学习技术与决策树算法进行了比较。在模棱两可的场景中，PIE 的预测准确率超过 95%，决策树的表现优于其他两种机器学习技术（Naive Bayes 和 SVM）。
• 对多架无人机的感知推理引擎（PIE）的可扩展性进行了分析，提出了在空间受限的测试环境中同时测试多架无人机的两种不同类型的安排，并开发了一种新的状态来捕捉无人机在特定场景执行期间的时间有序行为。
• 开发了使用感知推理引擎（PIE）测试多无人机的数学公式，开发了七个子任务来实现拟议的系统，并使用 ROS、Gazebo 和 Pixhawk 固件开发了一个模拟环境，用于生成 PIE 的合成数据集。
• 使用多无人系统开发场景，生成合成数据以训练预测模型，该模型将用于测试无人飞行器代理在执行场景时的自主能力。此外，还开发了一种新型搜索和调查技术，以有效执行野外监测任务。
• 开发了一个新的数据驱动测试框架，包括七种操作模式和五种场景，从开发的模拟环境中收集数据，并使用基于深度学习的分类器来预测无人机代理在执行实际任务时的操作模式。利用合成数据训练深度学习模型，并通过在开发的模拟环境中使用该模型进行验证。同时，将训练好的模型部署到模拟环境中，以评估无人机在模拟环境中的性能。
• 建立了社会学结构与神经成像技术之间的联系，社会学结构在确定人类操作员如何使用自动化系统和认知过程方面发挥着重要作用。
• 确定了不同的神经科学技术，以收集与人类对自动化的信任相关联的脑电波。