本报告总结了对美国国防部(DOD)数字孪生实践状况的评估和相关的验证、确认和认证(VV&A)工作,以及在武器系统和部署兵力中使用商业虚拟化技术的计划。本报告基于作战测试与评估(DOT&E)主任办公室对 DOT&E 监督下的项目和软件采购途径进行的调查。DOT&E 通过与部分项目办公室和 DOT&E 工作人员进行访谈,对调查数据进行了验证。本报告是根据众议院第 117-118 号报告撰写的,该报告附有众议院军事委员会关于 H.R.4350(公法 117-81 2022 财年国防授权法案)的报告。
在 DOT&E 监督下的项目中,约有 14% 正在应用持续集成/持续交付 (CI/CD) 方法,约有 7% 已构建或正计划构建数字孪生。在接受 DOT&E 监督并处于软件采购途径的 8 个项目中,有 1 个正在使用 CI/CD 方法,有 1 个正在构建数字孪生。
数字孪生尚未用于支持作战或实弹测试与评估(T&E)。虽然有关数字孪生的 VV&A 工作仍在发展之中,但 DOT&E 与负责研究与工程的国防部副部长办公室协调,正在制定的建模与仿真(M&S)验证与确认(V&V)指南将适用于数字孪生。影响建模与仿真的许多相同差距也会影响数字孪生的可靠使用。需要进行更多的案例研究,以展示和规范适当的流程,从而为 M&S 或数字孪生更敏捷的 VV&A 提供支持。
在武器系统和部署兵力中使用商业虚拟化技术的计划包括要求评估商业虚拟化的好处,包括节能、潜在的可靠性改进和硬件节省,同时创建和维护更复杂的安全边界。该计划还强调要求评估系统及其组件对专业实时计算机处理的依赖性,因为虚拟化可能会对战术应用的性能或功耗造成影响。最后,该计划承诺开发必要的工具和流程,以充分评估采用此类技术的系统的运行性能。
多领域作战环境的复杂性和相关的作战制约因素正日益使数字技术成为技术与评估的一个重要方面。例如,数字孪生系统可以随着威胁和系统本身的发展而反复遭受网络攻击,并将允许对任务的网络生存能力进行持续评估,以跟上时代的步伐。
虽然数字孪生为 T&E 创造了新的机遇,使持续演进的系统得到保证,但还需要专门的投资和举措来规范和实施这种方法。我们有机会应对使用此类能力的挑战,并整合基于模型的工程技术,以优化从项目开始到生命周期结束的综合 T&E 方法。
由于对什么是数字孪生有不同的解释,以及在采购项目中实施数字孪生的多变性,2022 年 4 月 5 日,DOT&E 对自己的员工进行了一次调查,以支持所需的评估。与此同时,DOT&E 还向军种的 T&E 执行人员发布了一份调查,以验证内部答复或裁定任何分歧。DOT&E 监督名单包括 72 个陆军、67 个空军和 85 个海军或海军陆战队采购项目。DOT&E 监督清单还包括由其他组织(如导弹防御局、国家安全局等)管理的 19 个购置项目。在接受 DOT&E 监督的 243 个采购项目中,有 8 个项目(或组件项目)属于软件采购途径。结合内部和外部调查,DOT&E 监督下的 195 个项目提供了可报告的详细信息,其中包括 6 个软件采购途径项目。表 1 概述了详细信息。
表 1. DOT&E 监督清单下或软件采购途径 (SWP) 上的计划及其在本报告中的覆盖范围汇总表
缩略语: CI/CD--持续集成/持续交付;DOD--美国防部;DOT&E--运行测试与评估总监;SWP--软件获取途径
CI/CD 是开发、安全、运营(DevSecOps)软件开发方法的一个组成部分,用于提高能力交付的速度。开发(Dev)通常采用敏捷流程,以定期的小增量方式交付软件。CI/CD 尤其是一套软件和硬件开发实践,可自动构建和测试新发布的软件。国防部企业 DevSecOps 战略指南》将 DevSecOps 描述为一个迭代流程,包括图 1 所示的十个阶段。
图 1. DevSecOps 不同的生命周期阶段和理念。
不同的组织赋予 "数字孪生 "一词不同的含义。例如,陆军地面作战系统项目执行办公室(PEO)将数字孪生定义为 "连接物理资产的虚拟表示"。海军 T&E 执行人员将其定义为 "为反映现有物理对象而创建的虚拟模型。该模型所代表的不仅仅是物理特征,还包括物理对象的操作/行为"。空军 T&E 执行人员引用了美国国家标准与技术研究院(NIST)的定义: "[一个]数字孪生是现实世界实体、概念或观念的电子表示--数字表示--无论是物理的还是感知的"。本报告采用 NIST 的上述定义,并作如下说明:
数字孪生的决定性特征是数字模型与其对应的物理单位之间持续的数据整合。
用于研究和开发的数字模型在生产和投入使用后,可演变成特定单位的数字孪生,而且这些孪生可随着其基础数字模型的完善而不断更新。
在接受 DOT&E 监督或软件采购途径调查的空军项目(65 个中的 18 个)、陆军项目(55 个中的 6 个)和海军及海军陆战队项目(62 个中的 11 个)中,约有 28% 的项目(65 个中的 18 个)、11% 的项目(55 个中的 6 个)和 18% 的项目(62 个中的 11 个)正在使用 CI/CD 方法。表 2 提供了更多详细信息。
表 2. 在 DOT&E 监督下使用或计划使用 CI/CD 方法的计划
空军
陆军
海军与海军陆战队
在接受调查的空军项目(65 个项目中的 7 个)、陆军项目(55 个项目中的 6 个)和海军及海军陆战队项目(62 个项目中的 3 个)中,约有 11% 的项目(在 DOT&E 监督下)或在软件采购途径上的项目(在 62 个项目中的 3 个)正在构建或计划构建数字孪生项目,这些数字孪生项目可用作扩展 CI/CD 方法的功效和效率的辅助工具。表 3 总结了详细情况。
表 3. 在 DOT&E 监督下或软件采购途径上正在或计划建造数字孪生项目的项目清单
空军
陆军
海军与海军陆战队
在数字孪生计划(DOT&E)监督下或软件采购途径中使用的数字孪生尚未用于支持运行性能评估。一些项目正在使用数字孪生来帮助工程设计。我们观察到在开发测试中使用数字孪生的一些潜力。例如,改进涡轮发动机计划(ITEP)拥有一个数字孪生发动机,这对于确定发动机的修复和调整效果非常有用。使用模型完成某些工程任务所需的保真度与支持运行性能评估所需的保真度不同。部分原因是,完整的评估不仅需要被测系统的数字孪生,还需要对作战环境进行高保真模拟,包括具有代表性的威胁系统和可能影响任务性能的任何其他任务相关方面。这些都是需要积极争取的关键要素,以支持将 T&E 集成到基于模型的系统工程中,优化综合 T&E 的使用,并支持对作战性能进行充分和持续的评估,因为系统的构建随着时间的推移会更加动态地发展。数字孪生作为高保真数字模型,除了在技术与评估中的潜在用途外,在训练中也有潜在用途(如对作战兵力进行逼真的网络战训练)。
数字孪生系统尚未经过必要的验证和确认,无法为作战或实弹测试与评估做出贡献。在已报告使用数字孪生的项目中,许多仅用于支持工程和制造开发的承包商级测试,而不是政府测试。其他项目,如未来远程攻击机(FLRAA)、可选无人战车(OMFV)和下一代空中主导(NGAD)计划使用数字孪生,但这些项目还处于开发初期。第一个使用可能有助于作战测试评估的数字孪生项目是 LGM-35A "哨兵"(地基战略威慑),但测试尚未开始。
传统 M&S 的原则和挑战同样适用于数字孪生的 V&V。有效的 V&V 需要早期规划和充足的资源,以支持严格的 "测试、预测、改进 "反馈循环方法。在这种方法中,项目必须反复收集实时操作测试的数据,以及数字孪生对实时测试结果的预测。必须对预测和实时数据进行分析,以确定数字孪生与真实系统之间的差异所在,从而对模拟进行改进,使数字孪生更接近验证。要开发和验证在 V&V 中充分运用敏捷开发方法所需的流程,还需要更多的投资和案例研究。
要对数字孪生进行充分评估,就必须对数字孪生应被视为代表实时系统的边界以及这种代表的限度进行评估。当数字孪生用于测试与评估时,充分的评估还需要对 "实时数据 "与 "模拟输出 "进行基于统计的定量比较。V&V 需要尽早规划并获得资源,并反复执行。V&V 计划应在系统生命周期内不断发展,并应包括:(1) 支持充分比较所需的事件/数据数量,(2) 比较条件的范围,(3) 收集实时测试数据和模拟预测数据的计划,(4) 统计风险分析,以及 (5) 验证方法。V&V 过程应量化数字孪生表示中的不确定性,并评估该不确定性对运行性能评估的风险。
如 B-52 商用发动机替换计划的表 3 所示,对基础数字模型进行充分的 V&V 所需的实时测试数据量是一个挑战。在短期内,为系统评估目的进行实时测试可能比进行严格的 V&V 更节省资源。然而,多领域作战环境的复杂性和相关的露天测试限制,正日益使数字技术成为充分进行测试与评估的必要条件。
验证不仅需要对实时数据进行合理的实验设计(最好与模型输出相匹配),还需要对模型域进行合理的设计策略。这与美国国家研究委员会的意见一致,即验证活动可分为两大类:(1) 外部验证(即与实 际测试数据进行比较)和 (2) 参数分析(即在整个模型输入域对模型结果进行调查)3。成功的敏捷 V&V 需要开发和运行测试人员之间的有效沟通和协调,以及足够的 "实时 "测试数据,以便对模型性能做出可靠的结论。还需要更多的案例研究来验证和规范优化敏捷 V&V 所需的流程。
商业虚拟化通过使用软件技术将系统的软件或模拟硬件容器化,从而整合计算资源。美国国家标准与技术研究院(NIST)特别出版物 800-125 将虚拟化定义为:
对其他软件运行所依赖的软件和/或硬件进行模拟。这种模拟环境称为虚拟机(VM)。虚拟化有多种形式,主要以计算架构层来区分[......]在完全虚拟化中,一个或多个操作系统(OS)及其包含的应用程序在虚拟硬件上运行。操作系统及其应用程序的每个实例都在称为客户操作系统的独立虚拟机中运行。主机上的客户操作系统由管理程序管理,管理程序控制客户操作系统与 CPU、磁盘存储、内存和网络接口卡等物理硬件之间的指令流。管理程序可以分割系统资源,隔离客户操作系统,使每个客户操作系统只能访问自己的资源,以及可能访问的共享资源,如主机操作系统上的文件。此外,每个客户操作系统都可以完全封装,使其具有可移植性。有些管理程序是在另一个操作系统(即主机操作系统)之上运行的。
虚拟化的一个优势是可以在容器或虚拟机之间动态分配资源,从而提高了部署能力的灵活性,并可减少硬件占用空间。例如,可以在一台物理计算机中虚拟出多个 "访客 "操作环境,而无需购买多台物理计算机。此外,容器化还有利于实现模块化、可移植性、提高安全性和灵活性,同时降低技术风险。因此,一些传统上需要多台计算机才能完成的任务可以用一台计算机来完成。使用虚拟化技术可为国防部项目带来多种潜在好处,包括
各计划需要对其计算需求进行系统设计,以确保实施最佳的虚拟化技术,并随着这些技术的发展和其他效率的提高,偶尔重新审视架构决策。例如,随着容器化技术的发展,越来越多的云计算解决方案可以本机实施虚拟化,并通过基于网络的应用程序强调终端用户互动。
值得注意的是,持久性网络培训环境从其广泛和大规模的虚拟化部署中获得了巨大价值。
海军 "宙斯盾"(Aegis)计划的首席执行干事(PEO)--"综合作战系统"(PEO Integrated Warfare Systems)--已经进行了成功的试验,使 "宙斯盾 "武器系统(AWS)软件能够在可运输的商用现货(COTS)计算机服务器上运行的虚拟机上运行,然后与舰载战术系统集成。PEO 在实弹演习中演示了他们可以通过虚拟版 AWS 软件操作舰载战术系统。PEO 现在的重点是将 AWS 软件基线与舰载战术硬件解耦,以便软件在管理程序建立的虚拟机上运行。PEO 预计,向虚拟机的过渡将使 AWS 软件基线与舰载硬件更新脱钩,因为能够更有效地利用可用计算能力,从而减少对处理器升级的需求。除了简化新软件版本和功能的部署外,这还将使宙斯盾舰艇在升级后能够在同一战术系统上并行运行两个 AWS 软件环境:第一个运行与战术系统相连的战术基线,第二个作为 "沙箱 "用于培训、测试和实验。
采购项目应计划使用虚拟化技术,特别是作为其 CI/CD 和 T&E 流程的一部分。然而,正如 NIST 在一份报告中讨论的那样,虚拟化可能会带来负面的安全影响。报告特别强调,虚拟化增加了技术层级,这可能会增加安全管理负担,因为需要额外的安全控制。将许多系统整合到一台物理计算机上,一旦发生安全漏洞,可能会造成更大的影响。虽然有些虚拟化系统可以方便地在系统间共享信息,但如果不加以谨慎控制,这种便利也可能成为攻击的载体。在某些情况下,虚拟化环境是非常动态的,这使得创建和维护必要的安全边界变得更加复杂。因此,在武器系统和已部署兵力中使用商用虚拟化技术的计划必须强调,系统软件必须安全地运行在商用计算机硬件上,而且这种安全性必须通过测试和评估来证明。鉴于安全方面的影响,该计划还必须要求对使用此类技术的附加值进行评估。例如,评估应量化将应用程序整合到集中式计算机服务器上运行而不是单独的台式机或控制台上运行所带来的附加值(即节省能源),以及通过将产品交付到虚拟化环境而加快软件部署所带来的附加值。虚拟化的一个关键最佳做法是对系统的运行和信息技术环境及相关需求进行仔细评估。
在武器系统和部署兵力中使用商业虚拟化技术的计划还必须考虑到软件虚拟化是否适合实时战术应用,特别是那些内存或处理密集型、受功耗限制或必须根据已证明的行为认证为完全确定性的应用(如核确保)。该计划应要求评估系统及其组件对专业实时计算机处理的依赖性,其中虚拟化可能会带来性能或功耗方面的问题。工业界正在推动将虚拟化用于实时数据处理密集型应用(如车辆)。目前,许多商用中央处理器(CPU)都支持虚拟化,但在实施计划中,必须仔细考虑虚拟化是否适用于专业的关键任务实时处理应用。值得注意的是,商用中央处理器虚拟化遇到了时序问题,即正确的事件顺序被打乱,这已被证明是具有挑战性的,在某些情况下甚至是不可能解决的。
美国防部第 5000.82 号信息技术采购指令包括对国防部信息企业架构和云计算的要求。在武器系统和已部署兵力中使用商业虚拟化技术的计划应确保使用通用 COTS 计算机硬件(包括云计算)时针对虚拟化进行优化。
美国防部第 5000.90 号指令《采购决策当局和项目经理的网络安全》包括与网络安全有关的要求。在武器系统和部署兵力中使用商用虚拟化技术的计划应确保满足这些网络安全要求。
根据《美国法典》第 10 篇第 805 节第 2446a.(b)条,在武器系统和部署部队中使用商业虚拟化技术的计划必须强调遵循模块化开放系统方法(MOSA)的必要性。模块化开放系统方法采用模块化设计,在主要系统平台和主要系统组件之间、主要系统组件之间或主要系统平台之间使用主要系统接口。MOSA 须经过验证,以确保主要系统接口符合标准,并采用系统架构,允许在平台的整个生命周期内逐步增加、删除或更换适当级别的可分割组件,以提供加强竞争和创新的机会。
最后,在武器系统和已部署兵力中使用商业虚拟化技术的计划承诺开发必要的测试与评估工具和流程,以充分评估应用此类技术的系统的作战性能。