《国防认知工程工具包》91页报告

自 2015 年以来，在 MITRE 的支持下，美国国防部高级研究计划局 Hallmark 计划已应用认知工程来改进太空企业指挥与控制决策支持。认知工程方法可用于 DARPA 和其他国防部项目，作为确保新技术具有任务价值的一种手段。这份项目结束报告介绍了认知工程的 "原因 "和 "方法"，并列举了 "霍尔马克 "计划的实例。本报告中概述的认知工程工具包方法和经验教训以收集、分析、设计和评估四个部分为周期，为如何确保技术创新有效支持高后果任务环境中的人类认知工作提供了指导。

美国国防部高级研究计划局（DARPA）的 "霍尔马克 "计划经历了三个独特的阶段，旨在为太空企业指挥与控制（SEC2）提供突破性的能力。霍尔马克计划促进了两个性能测试平台的开发和过渡，每个测试平台都承载了一系列集成工具，这些工具由 SEC2 运营团队在快速、敏捷的周期内使用与未来相关的场景进行评估。霍尔马克的一个独特组成部分是其采用的认知工程方法，该方法强调对 SEC2 所涉及的人类认知方面的理解、设计和明确测量。本报告重点介绍霍尔马克的认知工程部分，该部分从一开始就与该计划密不可分，旨在推动决策支持领域的技术发展。

认知工程方法和流程源于 20 世纪 80 年代末的重大社会技术系统灾难，随着应用研究人员走出实验室研究环境，进入真实、混乱的世界研究高后果决策，认知工程方法和流程也取得了系统性进展。认知工程与决策》杂志和大量书籍记录了该领域三十多年的进展。然而，即使人们对提高人类决策的及时性和质量的新技术兴趣浓厚、投资巨大，认知工程方法仍未在国防部（DoD）项目中得到系统的采纳和应用。

因此，本工具包的目标是通过提供认知工程方法和流程的可访问集合，以及描述在 Hallmark 计划中使用这些方法的用例，促进在从敏捷到传统的系统工程流程中系统地采用认知工程方法。通过这样做，我们旨在改进技术开发项目和计划支持人类思维的方式，从而改善任务成果。

认知工程方法何时适用？能从认知工程支持中获益的项目包括

1.多种能力、技术和人员在时间紧迫、利益攸关、目标不断变化和模棱两可的条件下，共同完成一项具有重大影响的任务[5, 6] 。

2.必须做出决策、评估形势、规划、理解、适应和重新规划、发现问题和协调的人员[4, 4] 3.

3.组织、文化和经济方面的限制，这些限制往往会将运营推向安全性能的极限[7]。

认知工程流程。随着 "霍尔马克 "计划和其他认知工程工作的发展，我们试图建立并传播一个与系统工程需求相一致的认知工程综合模型。该模型如下图 1 所示。它为在本工具包中介绍认知工程方法提供了结构。

工具包方法。第 2 节中介绍的认知工程方法是根据过去几十年中发展起来的多种框架选择的。下文图 2 概括了这些方法。我们以统一的格式介绍了每种方法，包括简介、使用所需的时间框架、何时应使用该方法、应采取的步骤、从应用该方法中学到的技巧、配套方法以及更详细记录该方法的资源和参考文献。

在第 2 节末尾，我们将收集-分析-设计-评估方法组合成适合短期、中期和长期项目使用的 "工具链"。下图 3 所示的例子是一个适用于 6 个月至 1 年的中期项目的工具链。对于旨在设计新决策支持系统原型的这种期限的项目，认知工程团队可能会：（1）使用关键决策法或应用认知任务分析（ACTA）工具收集数据；（2）使用主题分析法分析数据并创建决策需求表；（3）使用参与式设计活动进行设计，以启动故事板的构思；以及（4）使用认知墙步行法和启发式评估法评估模拟设计。

每个项目和领域都有独特的目标、时间表、资源和需求，在构建认知工程工具链时需要加以考虑。提供这些工具链是为了激励认知工程从业人员和项目团队在整个设计和开发周期中将各种方法结合起来。

标志范例。第 3 部分深入介绍了认知工程在 Hallmark 项目中的应用。它包括对第 0、1 和 2 阶段的总结，并描述了 MITRE 和其他团队成员如何在这些阶段采用认知工程方法的轨迹。虽然认知评估是 Hallmark 项目中使用的主要认知工程方法，但该项目还包括对多个指挥与控制设施的访问、一系列独特的分析活动以及每个阶段的三次独立参与式设计活动。从认知工程方法在整个周期的长期、系统应用中汲取的主要经验教训包括

1.在项目早期构建一个基准运行工作流程模型，将有助于为来源选择、执行者对 SEC2 的理解、培训和工具集成提供信息。我们分享了网络领域中此类模型的范例和参考资料。

2.通过在早期冲刺阶段解决系统和可用性问题，为系统的稳定性和可用性奠定基础，这可能有助于避免后来出现的问题。鸡生蛋还是蛋生鸡的难题在于，早期的演示/评估活动没有建立后期的数据馈送，也没有确定工具性能范围，这最终导致了下游的稳定性和可用性问题。即便如此，在第一阶段的早期建立共同的外观和感觉，并资助可视化工具提供商为其他 10 多个工具提供指导，可能会有所帮助。

3.竞争者之间的知识共享将提高评估速度和评估结果的迭代。第 1 阶段的竞争阻碍了两家不同的认知评估提供商在测试平台之间以及相互之间公开分享其结果和发现。

4.确保评估结果有条理、有重点，以便迅速为下一个冲刺阶段提供信息，这将改善迭代，避免在宝贵的反馈时间内重复已知问题。我们介绍了如何将认知评估分析快速转化为执行者的设计周期所使用的技术和事后总结的经验教训。值得注意的是，允许工具提供商直接参与评估周的 "行动后回顾"（After-Action Reviews），使软件开发人员能够获得第一手反馈，是一种有益的做法，而将认知评估分析工作重点放在按工具编目用户故事上，也得到了执行者的赞赏。

总结。本认知工程工具包记录了适当的使用方法、益处和方法，并提供了一个详细的范例，展示了如何将收集、分析、设计和评估的循环应用于整个系统工程生命周期。

虽然每个以支持复杂的认知工作为目标的项目或计划都必须根据自身的独特情况来调整方法和应用方式，但我们认为，认知工程的缺乏导致了资源和精力的浪费，以及用户对技术解决方案的排斥。在适当的情况下，系统地应用面向用户的收集、分析、设计和评估方法，可以将用户以任务为导向的技术需求与所开发的系统紧密联系起来，并通过对每项应用的评估结果加以验证。