《人机协作测试与评估指标表征》117页

美国国防部和合作组织正在开发先进的机器系统，这些系统将与人类合作完成任务。鉴于这些人机团队（HMT）从未经历过测试与评估（T&E），本简报有助于指导评估人员应对 HMT 带来的新挑战。它定义了人机协作，描述了评估 HMT 所面临的挑战，并提供了对 HMT 的测试与评估非常重要的指标分类框架。

人机协作比个体系统完成任务的简单行为更为广泛。它涉及人与系统之间的广泛互动，因为他们要共同努力实现一个集体目标。鉴于人机协作的高度协作性，仅仅衡量机器和人是不够的。我们还需要衡量团队本身，而且这些衡量标准必须与任务相关、定量且客观。

在评估 HMT 时会遇到一些独特的挑战，包括如何处理不透明的心智模式，以及机器指挥通信、自我任务或人类任务的情况。例如，考虑一个人机搜救小组，在这个小组中，一架自主无人机在空中飞行，寻找倒塌建筑中的幸存者，当发现幸存者时，它会向地面上的机器人发出警报。然后，机器人将幸存者从废墟中拉出，送到人类医护人员那里接受治疗。如何评估无人机决定搜索地点的过程？或者如何与机器人沟通？机器人对这些通信的反应又如何？医护人员决定如何治疗幸存者以及治疗顺序如何？无人机、机器人和医护人员如何合作并优先救治伤势最严重的幸存者？它们如何协调其他工作？他们如何应对不断变化的环境所固有的困难？显而易见，团队成员之间的互动是关键。

该框架概述了 HMT 评估的主要类别，包括能力（团队具备哪些能力？）、互动（团队如何合作和协调行动以实现目标？它强调团队的衡量标准以及人与机器之间衡量标准的协调。因此，如果要评估人类的认知能力（即注意力和判断力），就需要同时评估机器的认知能力（即信息处理架构和决策算法）。

该框架还提供了一种结构，用于确定和选择评估团队效率的适当指标。所有这些衡量标准都来自于先前的科学研究。

首先，考察人和机器的能力，因为其中任何一项能力都可能是团队合作失败的原因。对人的培训和经验、心理特征、体能、态度、认知资源、脑力劳动负荷或疲劳等进行评估。考虑与机器的认知结构和硬件组件相关的因素，如程序化任务知识、操作系统和其他软件，以及物理传感器和平台。

其次，检查可能导致交互失败的关键领域。其中包括机器的态势感知、资源分配和不同情况下的资源使用。例如，机器在使用传感器寻找新的幸存者时需要多少电力，会影响到机器是否可以协助满足团队的其他需求。这些关键领域还包括人类的视角和决策过程。例如，人类对情况的理解会影响他们在这种情况下的行为，以及他们是否信任与之合作的机器。

最后，考虑潜在的漏洞。哪些威胁可能会阻碍团队完成目标？如果团队失败会有什么后果？失败可能会引发哪些其他问题？重要的是要找出任何问题，以便在今后的工作中加以缓解或解决。

最后，本简报为 T&E 界提供了两个重要启示：