《利用多智能体深度强化学习和自适应导航策略在复杂环境中高效反制蜂群》

本研究项目提出了一种新颖的 "蜂群对蜂群"（swarm versus swarm）方法，利用相同或更多数量的协作式自主无人机，有效地抵御可能以蜂群形式进化的入侵无人机。蜂群中的每架无人机都与蜂群中的其他无人机协调，独立执行行动，每次任务最多可对抗五架敌方无人机。我们的方法利用顺序决策过程，将任务划分为不同的阶段--接近、跟踪和中和--以尽量减少蜂群互动过程中的冲突，并加强自主操作过程中的控制。此外，我们还划定了一个飞行保护区，严禁任何敌方无人机侵入，否则将视为任务失败。为了确保在复杂环境中的安全导航，我们建议将防御蜂群的飞行限制在一个被称为缓冲区的划定空域内，缓冲区包括保护区。缓冲区内的任何入侵都会触发我们系统的响应，进而使防御蜂群采取一系列协调行动，阻止敌方无人机进入保护区。我们采用多智能体深度强化学习框架，在模拟器上集中训练，分散执行，在简单的模拟环境中优化决策过程，然后在现实模拟器中进行测试，并部署真正的无人机进行实地操作。

我们的方法集成了优化的动态目标定位算法，可在每个时间步骤重新规划最短路径分配。分配完成后，在每个时间步长，蜂群中的每个智能体都会使用多智能体深度强化学习模型来接近和跟踪目标。当一个智能体满足开始中和阶段的标准时，被选中的智能体的自主导航控制会切换到捕捉导航模式，而如果缓冲区内没有其他威胁，蜂群的其他智能体则继续跟踪。此外，导航决策过程还与自适应防撞功能相结合，防撞功能取决于任务阶段和预训练人工智能导航模型的决策。防撞功能可降低与同一防御群的其他智能体、探测到的目标定位实体和其他探测到的物体（如鸟类）发生碰撞的风险。这确保了在复杂环境中的稳健导航和高效跟踪。这些功能与传感功能相协调，通过算法控制偏航和俯仰方向，以及嵌入在每架无人机上的万向节安装的 EO 传感器的变焦。

在模拟中，从探测到中和，拟议的系统在保持安全导航的同时，通过切换算法的顺序决策过程，展示了抵消小型蜂群的有效性能。在仿真过程中，防御型无人机利用网状机制捕捉入侵者，并取得了很高的性能。此外，我们在野外部署了无人机，面对地面雷达探测到的敌方无人机进行实际飞行演示，并验证了这一自主决策过程。我们的研究为推动基于蜂群的决策战术的发展做出了贡献，并为在北约范围内的防御和军事行动中使用协作蜂群开辟了新的途径。

图 2：在二维模拟器上，针对五架防御无人机（蓝色）与一架目标无人机（红色）的使用案例，经过 MARL 训练的协作导航模型表现出不同的防御行为。在（a）中，无人机以凹形队形接近目标定位。在某些情况下会产生一个线性障碍（ b）。捕捉目标的典型行为是包围目标，如 (c) 所示。至少有一架无人机作为蜂群的后援也是常见现象（d）。