《多无人机作战分层强化学习框架》

多无人机空战是一项涉及多个自主无人机的复杂任务，是航空航天和人工智能领域不断发展的一个领域。本文旨在通过协作策略提高对抗性能。以往的方法主要是将行动空间离散为预定义的行动，从而限制了无人机的机动性和复杂的策略实施。还有一些方法将问题简化为 1V1 战斗，忽略了多个无人机之间的合作动态。为了应对六自由度空间固有的高维挑战并改善合作，我们提出了一个分层框架，利用领导者-追随者多智能体近端策略优化（LFMAPPO）策略。具体来说，该框架分为三个层次。顶层对环境进行宏观评估，并指导执行策略。中间层确定所需行动的角度。底层为高维行动空间生成精确的行动指令。此外，通过领导者-追随者策略分配不同角色来优化状态值函数，以训练顶层策略，追随者估计领导者的效用，促进智能体之间的有效合作。此外，结合无人机态势的目标选择器可评估目标的威胁程度。最后，模拟实验验证了提出的方法的有效性。