1 引言

有效的性能(绩效)评估是战术单位有效研究、行动分析或性能改进的基础。在这里,"有效 "是指有关评估过程提供的结果在多大程度上准确地代表了它所要评估的变量或概念。如果没有有效的性能测量,潜在的性能改进方向往往反映了观察者的意见,而不是客观或其他基于证据的结果。本技术说明的目的是概述一个多层次性能评估的概念,可用于评估防空反导(AMD)作战中心的指挥和控制(C2)性能。这个概念相对简单,在基于模拟的性能设置中很容易实现。研究和经验表明,在复杂的性能领域,如C2,简单是性能评估的一个优点(Hawley, Howard, & Martellaro, 1982)。复杂的性能评估方案在实施和使用上往往是困难和昂贵的。它们经常被废弃,主要原因是过于复杂和对用户的认知负担。简单地说,即使是所谓的完全 "自动化",它们也很难支持和使用。

大多数关于士兵性能衡量的讨论都是针对个人性能的。然而,有人指出,团队和单位,而不是个人,才是战争能力的基础。这并不是说个人性能不重要。有能力的个人性能是团队和单位性能的一个重要方面。但是,在大多数情况下,个人并不执行任务;团队和单位才是。本技术说明中概述的性能评估概念,以一种支持性能判断的关联方式,处理单位、团队和个人层面的性能。在这三类的性能评估水平中,团队性能评估通常是最被忽视的方面。然而,团队性能已被证明是整体C2有效性的最重要因素(Olmstead, 1992)。C2(或更广泛地说,任务指挥)是基于团队的认知工作。

越来越多的证据表明,在完整的团队在现实的性能环境中运作背景下,高水平的团队熟练程度得到了最好的发展。将不同的部分整合成一个高性能的团队,需要花时间一起工作,再加上专注于发展团队合作技能的具体干预措施。在团队层面上的合格性能要求团队成员意识到他们之间的相互依赖性,并能够相互支持。高技能和一体化的团队是 "工作量的海绵",因为团队的工作量往往比团队成员个人的总工作量的总和要少。

团队培训研究也强调了高技能的团队领导在发展有效团队中的重要性。有效的团队领导是将单个技术和战术专家整合成一个高性能团队的关键因素。团队领导通过以下方式培养有效的团队性能:(1)将个人整合成一个连贯的团队,(2)促进适应性角色网络的发展,以及(3)协助团队成为一个自我学习的系统。这三个特点--连贯性,或对团队角色和相互依存关系的清晰理解;一个适应性的(而不是规定的和僵硬的)角色网络;以及一个自学系统,使有效的团队有别于个人的简单聚集。有效的团队为共同的目标一起工作,作为一个团体学习,并调整他们的团队内部角色以反映不断变化的操作环境。团队领导通过作为团队内部的指导者和导师来促进这些能力的发展。

2 C2性能测量方法概述

C2性能评估文献表明,有效的性能评估最好是作为一个多层次、分等级的过程(Crumley,1989;Olmstead,1992)。性能评估层次的顶层通常涉及到相关单位在其任务环境中的整体成功。对于AMD C2,这些措施通常包括客观的(即可计算的)指数,如敌对轨道的参与、自相残杀、错过的威胁、导致轨道死亡的导弹发射、错过或错误的轨道识别、交战过程中各个步骤的延迟,等等。在AMD,像这样的顶级措施与C2团队的有效性密切相关,并且在当代模拟环境中很容易获得。然而,这种最高级别的措施对于随后的性能改进来说并不是特别具有判断性。

已经提出了几个AMD的性能评估能力原型,以解决C2有效性的顶级客观措施,其中一个已经部分实施,以支持一项研究工作,但没有一个被广泛采用或应用于作战(Hawley, Howard, & Martellaro, 1982; Brett & Allender, 1990; Roney, 2007)。与联合部队演习的情况相比,AMD更容易采用这种 "可计算 "的C2有效性指标。这是因为AMD的C2有效性的客观标准比联合部队的机动行动更容易定义。在AMD中,资产要么被防御,要么不被防御;有威胁的轨道要么被攻击和摧毁,要么不被攻击。在联合武器机动作战中,整体战斗力不容易定义或有意义地量化(Crumley, 1989)。与其他作战领域相比,性能测量中所谓的标准问题对AMD来说是一个较小的问题。

C2性能评估的第二个层次涉及团队内部的流程措施,如本技术说明的介绍中所提到的那些。这些措施包括C2团队的表现,如团队工作(与任务工作)技能、沟通模式、相互支持等。像这样的团队内部表现的衡量标准很难以自动化的方式进行有效的评分。相反,观察者控制者使用纸质记分卡或使用手持数字设备提供评分。许多记分卡方法已经被开发出来用于军事C2环境(Crumley, 1989; Olmstead, 1992; Sanders, 2003)。使用记分卡,在评估的有效性和强加给评估者的认知负荷之间有一个明显的权衡。记分卡还要求评分者具备与工作相关的高水平的专业知识。评分者必须是工作的专家,才能充分评估团队的表现。他们必须知道在目标性能设定中,"正确是什么样子"。

与前面几段所讨论的C2性能的顶层衡量标准相比,团队过程衡量标准不太客观,但这并不影响它们在性能评估中的潜在价值。有证据表明,这些措施对判断目的非常有用(Olmstead,1992)。如果应用得当,它们还与C2有效性的客观措施相关联。

尽管与记分卡和评分员负担有关的问题,几个现有的方法有希望有效地平衡C2团队过程的有效测量和评分员的负担,并且可以适用于各种基于团队的情况。一种似乎直接适用于AMD C2团队过程评估的方法是防空团队工作观察测量,或ATOM(Johnston等人,1997)。ATOM由11个行为项目组成,对应于团队过程的4个方面:信息交流、沟通、支持行为和主动性。ATOM是由美国海军开发的,作为其压力下战术决策研究项目的一部分,该项目是在1988年美国海军文森号战舰击落一架伊朗客机后启动的。使用ATOM的广泛研究为其内部一致性、可靠性、建构效度、收敛效度、区分效度和其他心理测量指标提供了证据(Straus等人,2019)。该方法在评估团队和整体C2表现的关键方面的判断效用也得到了证实(Johnston等人,2013)。

与使用团队进程评估方法(如ATOM)相关的一个明显的限制是,C2团队必须接受基本的团队合作技能培训,以使团队进程的结果具有任何有效性或用于诊断的潜力。研究和操作经验表明,管理团队的相互依赖性和发展团队合作技能需要类似于航空界普遍存在的机组资源管理(CRM)项目的团队过程培训。曾经几乎完全是一个航空项目,现在CRM被广泛认为是利用所有可用的人力、信息和设备资源,在AMD C2等工作领域进行有效和高效的操作,这取决于合格的团队表现。如果没有这种以团队合作为导向的培训,精通的个人团队不一定会发展成综合的C2团队。因此,团队过程的评估结果将反映出大部分的随机噪音: 高水平的团队间过程的特异性变化,在团队间几乎没有一致的 "信号"。如前所述,个人任务工作训练只是有效的C2团队性能所需的一部分;针对团队整合的团队过程训练也是必要的(Hawley,2021)。

C2团队性能评估的第三个层次是解决士兵个人对特定角色的任务工作技能的熟练程度。精通的士兵个人任务工作表现是有效团队表现的基础。但有效的团队表现不仅仅是基于士兵个人的熟练程度。个人任务工作和团队工作技能(即在团队范围内使用这些个人技能)都涉及。强调这一点,士兵个人的任务工作性能评估可以使用记分卡,在简单的去/不去的基础上评估相关的个人性能目标,或者使用更复杂的评分方法,如李克特量表。

3 结论

作为一个综合的整体,本技术说明中描述的方法层次可以提供对AMD C2性能的有效评估,也可以用于诊断。例如,C2团队流程措施(第2级)可用于诊断或解释观察到的最高级别、客观表现(第1级)的缺陷。如果关键的交战行动没有成功完成,或者关键交战事件之间的延迟时间过长,团队过程措施可以用来说明原因。同样,团队过程的缺陷可以追溯到团队培训内容或方法的缺陷;个人成员技能和培训的缺陷;作战中心或杀伤链组织的缺陷;或次优的交战战术、技术或程序(TTP)。从整体上看,这些相互关联的性能指标可以为更有效的、多层次的性能评估、性能判断、培训补救、组织修改或TTP改变提供基础。

成为VIP会员查看完整内容
69

相关内容

人工智能在军事中可用于多项任务,例如目标识别、大数据处理、作战系统、网络安全、后勤运输、战争医疗、威胁和安全监测以及战斗模拟和训练。
《支持大规模作战行动的战术反情报工作》
专知会员服务
20+阅读 · 2023年5月28日
《军事背景下能力规划的概念模型》
专知会员服务
114+阅读 · 2023年3月28日
《军事行动自动化》【译文】2022最新报告
专知
47+阅读 · 2022年11月13日
无人机集群对抗研究的关键问题
无人机
49+阅读 · 2018年9月16日
国家自然科学基金
91+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
33+阅读 · 2013年12月31日
国家自然科学基金
20+阅读 · 2012年12月31日
国家自然科学基金
12+阅读 · 2009年12月31日
国家自然科学基金
26+阅读 · 2008年12月31日
Arxiv
132+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
326+阅读 · 2023年3月31日
Arxiv
56+阅读 · 2023年3月26日
Arxiv
115+阅读 · 2023年3月24日
VIP会员
相关基金
国家自然科学基金
91+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
33+阅读 · 2013年12月31日
国家自然科学基金
20+阅读 · 2012年12月31日
国家自然科学基金
12+阅读 · 2009年12月31日
国家自然科学基金
26+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员