美国空军正在投资人工智能（AI）以加速分析，努力使自主无人驾驶战斗飞行器（AUCAVs）在打击协调和侦察（SCAR）任务中的使用现代化。这项研究探讨了AUCAV在SCAR任务中执行目标打击和提供侦察的能力。一个定向问题被制定为马尔可夫决策过程（MDP）模型，其中一个AUCAV必须优化其目标路线，以帮助消除时间敏感的目标，并收集所要求的指定兴趣区域的图像，同时躲避作为障碍物的地对空导弹（SAM）电池威胁。AUCAV根据SAM电池和目标进入战斗空间的位置来调整其路线。开发了一种近似动态规划（ADP）的解决方案，其中数学规划技术与成本函数近似（CFA）政策一起被用来开发高质量的AUCAV路由政策，以提高SCAR任务的性能。CFA政策与确定的重复定向问题（DROP）基准政策进行了比较，在四个实例中探讨了动态目标和SAM电池的不同到达行为。当AUCAV被分配到120分钟来完成它的任务，并且防空导弹电池到达战斗空间时，结果显示，所提出的CFA政策优于DROP政策。总的来说，拟议的CFA策略在所有四种情况下的表现几乎与DROP策略相同或更好。

关键字：马尔科夫决策过程（MDP）、近似动态规划（ADP）、强化学习（RL）、人工智能（AI）、定向问题（OP）、车辆路由问题（VRP）、目标定位、成本函数近似（CFA）、直接前瞻近似（DLA）、网格自适应直接搜索（MADS）

I. 引言

根据美国国防部长（SecDef）的说法，美国（US）军队近期的重点是将目前的 "能力现代化，以应对未来的先进威胁"，并确保美国军队仍然是 "世界上最杰出的战斗力量"（国防部，2021）。国防部长的重点可以通过美国国防部（DoD）有效调整其资源以应对不断变化的威胁来实现（国防部，2021）。本论文支持国防部未来的首要任务，这些任务涉及使用自主无人驾驶作战飞行器（AUCAVs）来压制敌方防空（SEAD）和打击任务。这些优先事项包括人工智能（AI）、侦察机能力、作战司令部（COCOM）策略和威慑对手方面的进步。通过开发用于AUCAV路径规划和目标选择的近似动态规划（即基于模型的强化学习）算法，我们可以探索空军打击深度、时间敏感目标和威慑对手的能力，与国防部的主要倡议直接保持一致（国防部副部长（主计长）/首席财务官办公室，2021）。这些资产的一个共同点是它们都对司令部的任务至关重要，并且可以与AUCAV打击高价值目标的能力一起工作。

1.1 美国防部的举措

AUCAV有多种方式可以用来支持COCOM的任务。一种独特的方式是对时间敏感目标（TST）的位置进行侦察，使其他盟军飞机或地面资产能够打击该目标。第五代F-35可以在不被发现的情况下远距离攻击地面目标，包括地对空导弹（SAM），并使用精确武器成功完成空对地任务（Military Advantage, 2014）。AUCAVs对萨姆导弹可能没有那么有效，可能会被它们击落。然而，AUCAVs有能力对要求命名的兴趣区（NAIs）或更适合其他军事资产打击的目标类型进行侦察，如F-35或B-52。

F-15EX是美国国防部批准的项目，与F-35不同，它不是隐形的，不能在敌后不被察觉。然而，空军已经考虑将F-15EX与隐形战斗机配对，并将这对战斗机作为远程空对空导弹发射平台（Mizokami，2021）。尽管F-15EX也有能力进行空对地打击，但该机的主要优势在于其雷达和携带大量武器载荷的能力，包括二十多枚空对空导弹或高超音速武器（Mizokami, 2021）。这种作战能力是需要考虑的，因为将一架隐身飞机（如F-35）与一架不具备相同属性的飞机（如F-15EX）配对，以完成时间敏感的目标打击任务，作为AUCAV的目标确认能力的结果，可能会达到优越的性能。

在每个COCOM的责任区（AOR），指挥官要求提供NAI和高价值目标打击的图像。假设没有能够击落AUCAV的敌方威胁（例如，防空导弹炮台），AUCAV可以满足指挥官的要求。然而，这种假设忽略了一个现实，即敌人可能会施加障碍，严重影响精心策划的任务。路径规划必须结合禁飞区（NFZ）的情报信息，以达到避免威胁的目的。本论文讨论的近似动态规划（ADP）算法将探讨未预见的NFZ或战斗区（例如，由于防空导弹电池）如何影响AUCAV的目标选择，以及AUCAV如何随着时间的推移学会避免这些区域。

美国军方已经对使用JDAMs打击目标的无人驾驶作战飞行器（UCAV）进行了作战测试和评估（OT&E）（Butler and Colarusso, 2002）。因此，本论文假设AUCAVs使用JDAMs来打击高价值目标。JDAM能够使用从联合监视目标攻击雷达系统（JSTARS）传送的飞行中目标更新（IFTU）信息单独指向其目标（Butler and Colarusso, 2002）。已经完成的测试表明，使用负担得起的移动水面目标攻击系统（AMSTE）而不是JSTAR，使UCAV打击移动目标的能力大大增强。这一发展应作为后续工作进一步探讨，但在本论文中不会详细讨论。

美国特种作战司令部（USSOCOM）正在投资人工智能（AI）以加快分析速度（国防部副部长（主计长）/首席财务官办公室，2021）。这篇论文的重点是建立一个人工智能算法，使战斗指挥部，如USSOCOM，能够及时有效地执行目标打击，并对要求的国家情报机构进行侦察。除各司令部外，联合情报支援部队（JISE）和联合特遣部队（JTF）也依赖侦察机，这是因为他们在管理各种形式的侦察和监视敌人方面的作用，这些侦察和监视对了解情况、确定目标和合适的目标以及向部队提供警告是必要的（国防部，2018a）。如果目前的AUCAV路径规划AI算法得到改进，所有这三个适用的军事组织都可以提供更多的情报信息，从而在目前的限制性资源（如燃料容量、弹药或在战区的时间）下，产生更多的目标打击和NAI的图像。

1.2 空军关于目标选择的学说

锁定目标是一项指挥职能，需要指挥官的监督和参与，以确保正确执行（美国空军部，2019年）。它不是某类专业或部门的专属领域，如情报或行动，而是融合了许多学科的专业知识（美国空军部，2019）。本论文通过将AUCAV任务前收到的情报与美军的联合、战术和空军理论相结合，探索这种专业知识的融合。最好同时考虑联合学说和空军学说，以更好地理解空军如何定义目标。根据联合学说，目标是一个实体或物体，被视为可能的交战或其他行动（国防部，2018b）。实体可以被描述为设施、个人、虚拟（非物质）事物、设备或组织（美国空军部，2019）。

有两类目标：故意的和动态的（美国空军部，2019年）。当有足够的时间将目标添加到空中任务单或其他计划中时，故意瞄准适用。蓄意的目标定位包括计划由待命资源攻击的目标。动态目标定位包括那些发现得太晚或没有及时选择而被列入蓄意目标定位的目标，但当发现或定位时，符合实现目标的特定标准。

本论文试图确定AUCAV的最佳路线，以选择故意和动态目标的组合。AUCAV进入战斗空间时，有一组要求攻击或侦察的故意目标。一旦进入战斗空间，AUCAV就会遇到新的目标请求（即动态目标到达），必须重新计算其最佳目标选择路线，并考虑到新到达的目标。

需要特别考虑的两个目标子集是敏感和时间敏感（Department of the United States Air Force, 2019）。敏感目标是指指挥官估计在军事行动中发生的对平民和/或非战斗人员、财产和环境的实际影响和附带影响超过既定的国家级通知门槛的目标（Department of Defense, 2018b）。敏感目标并不总是与附带损害相关（美国空军部，2019）。它们也可能包括那些超过国家一级交战规则阈值的目标，或者作战指挥官确定打击目标的效果可能会产生不利的政治影响（美国空军部，2019）。时间敏感目标是联合部队指挥官确认的目标或需要立即做出反应的目标集，因为它们是高度有利可图的、转瞬即逝的机会目标，或者它们对友军构成（或即将构成）危险（国防部，2018b）。

这篇论文的重点是AUCAV对时间敏感的目标进行打击，并对可能包括敏感目标的NAI进行侦察，同时避开代表萨姆电池威胁区的NFZ。这是通过使用ADP方法、整数规划技术和马尔科夫决策过程（MDP）模型框架解决具有随机目标到达的无人驾驶飞机定向问题，同时避开障碍物来实现的。车辆路由问题MDP模型框架被用来对AUCAV的目标选择进行基线分析，同时避开障碍物（即防空导弹电池），并确定哪些时间敏感的目标应该在指定的时间段内被摧毁。然后，采用CFA策略的ADP解决方法来优化AUCAV的目标路线，在做决定时利用未来动态时间敏感目标和障碍物到达的预测位置。

本论文的其余部分的结构是：第二章讨论类似于具有随机目标到达的自主车辆定向问题的文学作品，第三章讨论问题的制定框架和解决方法，第四章讨论计算测试和结果，第五章讨论结论。第二章从ADP的角度详细探讨了具有随机到达、服务时间和等待时间的类似路径规划问题。第三章对用于建模和解决问题的方法进行了深入探讨。第4章揭示了分析的结果和建议。第5章是本论文的结论，提出了为AUCAV选择目标和躲避敌人威胁而产生改进的解决程序的未来建议。

成为VIP会员查看完整内容