本文介绍了在战场数字孪生框架内使用贝叶斯优化（BO）、遗传算法（GA）和强化学习（RL）等先进技术优化军事行动的综合方法。研究重点关注三个关键领域：防御作战中的部队部署、火力支援规划和下属单位的任务规划。在部队部署方面，BO 用于根据战场指标优化营的部署，其中汤普森采样获取函数和周期核取得了优异的结果。在火力支援规划中，采用了 GA 来最小化威胁水平和射击时间，解决了资源有限条件下的资源受限项目调度问题（RCPSP）。最后，为任务规划开发了一个 RL 模型，该模型结合了多智能体强化学习 (MARL)、图注意网络 (GAT) 和层次强化学习 (HRL)。通过模拟战场场景，RL 模型展示了其生成战术演习的有效性。这种方法使军事决策者能够在复杂环境中提高行动的适应性和效率。研究结果强调了这些优化技术在支持军事指挥和控制系统实现战术优势方面的潜力。
基于战场数字孪生的 COA 生成概念
战场数字孪生是一个数字复制品，代表了真实战场环境的组成部分和行为特征。它可以通过接收来自实际战场的实时或接近实时的战场、敌方和友军单位信息，并将其动态反映到数字孪生中，从而对数字孪生模型进行评估和调整。换句话说，模型可以根据真实世界的数据不断更新，以实现更具适应性的分析。这一概念与深绿的自适应执行相一致，后者也依赖于动态更新的信息。通过这种方式，可以向真实战场系统提供改进的决策反馈，帮助用户根据数字孪生模型做出更好的决策，而数字孪生模型是根据实际作战数据更新的。
本节提出了 “基于战场数字孪生的作战行动选择生成与分析 ”概念，通过各种技术方法，利用战场数字孪生生成作战行动选择。然后对这些选项进行评估、效果比较，并推荐最合适的 COA 选项。基于战场数字孪生的作战行动选择生成和分析的基本概念是，利用战场数字孪生的预测模拟生成作战行动选择，同时考虑若干战术因素（METT+TC：任务、敌人、地形和天气、可用部队和支持、可用时间和民用因素）。然后，可在数字孪生环境中对生成的作战行动方案进行快速评估。图 2 展示了这一流程的概念图。生成和分析 COA 的四个关键输入--威胁分析、相对战斗力分析结果、战场信息以及指挥官和参谋部的指导--假定来自其他分析软件模块和用户输入，从而完成智能决策支持系统。有关链接分析软件模块的更多信息，请参阅 Shim 等人（2023，2024）。
图 2：基于战场数字孪生系统的 COA 生成和分析概念。
可以按照图 1 中概述的战术规划流程生成并详细说明 COA 选项。然而，如前所述，规划过程中的许多任务都需要人工干预，而人工智能技术的应用仍然有限。因此，我们将重点放在 COA 生成阶段，在研究适用技术的同时，找出可以实现自动化和智能化的方面。本研究介绍了在 COA 生成过程中可实现自动化和智能化的三个概念：确定友军部队部署、规划间接火力支援和规划部队战术任务。友军部队部署是指部队到达战场后如何安排和使用，而部队部署则是指如何将部队转移到指定的大致位置。我们将贝叶斯优化方法应用于友军部署优化问题，作为 COA 方案生成的一部分。随着人工智能技术的快速发展，许多研究都探索了基于最先进机器学习算法的全局优化方法。其中，使用高斯过程的贝叶斯优化法作为一种针对实验成本较高的黑盒函数的全局优化方法受到了广泛关注（Brochu，2010 年）。对于炮兵作战，我们将火力支援调度问题归结为一个项目调度问题，该问题力求在遵守资源限制的同时，最大限度地减少敌方总威胁和发射时间。将项目调度与资源管理相结合的任务被称为资源约束项目调度问题（RCPSP）。最后，我们利用强化学习（RL）技术为下属单位规划战术任务，以找到最优行动策略。强化学习已经证明，它是在动态和不确定环境中解决复杂决策问题的有效框架。特别是，我们利用多智能体强化学习（MARL）、分层强化学习（HRL）和图注意网络（GAT）的原理，为多个单位有效地学习任务及其相应参数，同时从每个智能体的角度考虑其重要性。
在使用所提出的方法生成一系列作战行动（COA）选项后，将在战场数字孪生系统中对这些选项进行模拟评估。然后对模拟结果进行评估，以推荐最合适的 COA 选项。在下一章中，将详细解释用于实现所建议的 COA 生成概念的技术方法，并提供全面的实验评估结果，以突出所建议方法的有效性。
图 8：强化学习的拟议架构。
原文
相关内容
微信扫码咨询专知VIP会员