《一种分层混合人工智能方法：在战斗模拟中整合深度强化学习与脚本代理》

在为支持兵棋推演的战斗模拟领域，智能体的开发长期以来主要采用基于规则的脚本化方法，而深度强化学习方法直到最近才被引入。虽然脚本代理在受控环境中提供了可预测性和一致性，但由于其固有的不灵活性，它们在动态、复杂的场景中表现不佳。反之，强化学习代理在适应性和学习能力方面表现出色，在处理突发情况方面具有潜在优势，但面临着严峻挑战，例如其决策过程如同黑箱，以及在更大规模模拟环境中存在可扩展性问题。本文介绍了一种新颖的分层混合人工智能方法，该方法将脚本代理的可靠性和可预测性与强化学习的动态、自适应学习能力协同结合。通过将人工智能系统分层构建，所提出的方法旨在利用脚本代理处理常规的战术级决策，而利用强化学习代理进行更高层次的战略决策，从而在发挥各自优势的同时，弥补每种方法的局限性。实践证明，这种整合能显著提高整体性能，为在复杂模拟环境中开发和训练智能体提供了一个稳健、适应性强且有效的解决方案。

在为支持兵棋推演的战斗模拟领域，智能体的开发长期以来主要采用基于规则的脚本化方法，而深度强化学习方法直到最近才被引入。脚本化方法——在本文中使用这个术语泛指由预定义规则和行为集支配的策略——在大多数环境中，对于创建有效、可预测且符合逻辑的智能体起到了重要作用。然而，其僵化性及无法适应意外场景或情况的特性，通常限制了它们的有效性——最终导致可预测的结果、次优的性能，并且在用于兵棋推演或作战规划时价值降低。另一方面，强化学习为智能体提供了一个通过与环境的直接交互进行学习和适应的框架，使智能体能够随着时间的推移改进其行为，从过去的经验中学习，从这些经验中归纳，并适应模拟环境内不断变化的条件。然而，在大型战斗模拟中应用强化学习并非没有挑战，这主要是由于这些环境的复杂性，以及在大规模状态空间中学习效率低下。此外，强化学习模型的黑箱性质可能使决策过程不透明，导致难以信任和解释强化学习智能体所采取的行动。本文提出了一种分层混合人工智能方法，该方法在战斗模拟中整合了强化学习和脚本代理，以取得超越任何一种单一方法的性能。通过将人工智能系统分层构建，目标是利用两种方法的优势，同时减轻它们各自的弱点。脚本代理被用来处理定义明确的常规任务，并在战术层面提供一致的基础行为，而强化学习代理则被用于在战役或战略层面，根据不断演变的情况进行长期决策和适应性调整。这种混合方法旨在从整体上创建一个更稳健、更有效的人工智能系统。具体而言，研究探索了在有限计算预算这一典型约束条件下优化训练效率的途径——这是将强化学习实际应用于战斗模拟时面临的常见挑战。