《使用机器学习智能体设计基于模拟的空战飞行员训练系统》2022瑞典林雪平大学页论文

战斗飞机的高运营成本、有限的可用空域和严格的安全规定使得战斗机飞行员的培训越来越具有挑战性。通过整合实时、虚拟和构建性模拟资源，可以提高效率和效果。特别是，如果建设性模拟（提供操作合成平台的合成智能体）得到更高的使用，复杂的训练场景可以以低成本实现，对支持人员的需求可以减少，训练的可用性也可以提高。在这项工作中，受最近人工智能技术改进的启发，我们从用户的角度出发，研究智能、学习智能体如何帮助建立未来的培训系统。通过领域分析、用户研究和实际实验，我们确定了重要的智能体能力和特征，然后讨论了培训系统的设计方法和解决方案概念，以利用学习智能体来提高培训价值。

引言

为战斗机飞行员提供高效和有效的培训方案正变得越来越有挑战性。由于飞机的运行成本高，有限的可用空间和严格的安全法规，很难在现场环境中实现具有理想内容和密度的训练场景。相反，必须在更高的程度上使用虚拟和建设性的模拟资源。实况、虚拟和建设性（LVC）仿真旨在整合真实的飞机、地面系统和士兵（实况）、载人模拟器（虚拟）和计算机控制的实体（建设性）[1]。通过使用构造性仿真来增强受训者操作的实机和虚拟飞机，有可能通过模拟大量参与实体的场景来提高训练效果[2]。然而，培训价值将取决于用于控制构造实体的智能体质量。理想情况下，这些智能体应该能够充当合成教员，并使其行为适应人类受训者的培训需求。这将使我们能够最大限度地减少进行培训所需的人类支持人员的数量，这将导致成本的降低和培训可用性的提高。

图 1. 基于模拟的飞行员培训系统用户

如图1所示，我们可以将培训系统的用户分为两大类：培训受众和培训提供者。培训受众包括那些接受培训的人，如学习如何操作一架新飞机的飞行员，而培训提供者包括那些提供培训的人，如教员、操作员和角色扮演者。教员负责培训课程的教学内容，而角色扮演者和场景操作者则分别作为演员参与或控制模拟场景的一部分，帮助提供培训。如果合成智能体变得更聪明，它们可以取代或增强人类的角色扮演者，并减少培训场景按预期方式进展所需的人类输入量。为了进一步提高系统的自主水平，智能体还可以协助教员评估受训者的表现，并调整培训场景的内容和特点。然而，为智能体创建行为模型是具有挑战性的，特别是对于培训系统的终端用户（如教员），他们可能不具备所需的专业知识和经验[3]。在过去，这限制了智能体在培训中的使用。现在，随着人工智能（AI）的最新进展，人们希望数据驱动的方法能够简化构建智能体的过程，从而在基于模拟的培训中取代人类支持人员。

对于学习顺序决策，强化学习[4]已经成为最先进的方法。在人类设计的奖励信号的引导下，这种智能体可以纯粹通过与环境的互动来学习政策。通过利用深度学习[5]，在经典棋盘游戏和多人计算机游戏中击败人类冠军已经成为可能[7-10]。这些结果引发了人们对调查强化学习在许多领域的应用的兴趣，包括空战模拟。然而，在很大程度上，重点是机动性的优化，而不是潜在的训练价值的提高。为了成功地设计适合训练的智能体，对该领域及其行为者的良好理解是至关重要的。

在这项工作中，我们着手从用户的角度研究学习智能体，并得到有经验的战斗机飞行员的支持。其目的是更多地了解如何利用智能体来自动完成由人类培训提供者执行的一些任务。我们的贡献和本文的结构可以概括为以下几点。

• 首先，我们对基于模拟的培训领域进行了分析。这个分析是分别从教员和受训飞行员的角度进行的。分析的目的是确定在使用不同类型的模拟资源时对培训提供者的限制，并模拟合成智能体必须能够的决策模式，如果它要在空战场景中取代人类的角色扮演者。

• 第二，在简要介绍了强化学习之后，我们进行了一项用户研究，包括反复的访谈和书面调查，目的是找出有经验的飞行员认为在不同类型的基于模拟的训练场景中哪些是重要的智能体能力和特征。

• 第三，我们对空战场景中人与智能体的互动进行了研究，用最先进的强化学习算法训练的智能体与人类合作，解决空中警戒任务。实验的目的是研究智能体设计的各个方面如何影响智能体的性能。

• 最后，我们在包含学习智能体的基于模拟的训练系统的系统结构范围内讨论设计方法和解决概念。其目的是将问题分解成更小的子问题，并为未来的研究工作提供框架。