北约384页技术报告《评估和沟通情报中的不确定性以支持决策》

2022 年 7 月 26 日 专知

军事和民事情报组织经常被要求为指挥官和决策者提供支持，他们的决定影响着国家和国际安全。除其他特征外，如及时性和相关性，情报组织应做出有严格分析支持的评估，准确无误，并明确传达给决策者。不确定性对情报的评估和沟通功能都构成了关键挑战。例如，分析员收到的信息的质量往往是不确定的，他们所依赖的概念模型也是如此。简而言之，大多数分析都是在不确定的条件下做出的人类判断。决策者可能希望完全消除不确定性，但情报组织必须努力将有关事件（概率）和他们的评估（信心）的挥之不去的不确定性尽可能连贯和清晰地传达出去，以避免误传。

SAS-114研究工作组通过研究(a)在不确定情况下促进情报评估准确性的现有和新方法，以及(b)在这种评估中沟通不确定性的标准来应对这些双重挑战。本报告概述了SAS-114所完成的研究和分析，分为以下四个部分。

第一部分（第1-5章）研究了情报生产管理的组织方面。第1章概述了目前由科学知识有限的思想领袖制定的情报培训如何未能解决不确定性沟通中固有的主观性或鼓励分析员的自我批判性认知。第二章根据英国国防情报局的经验，提出了一个不确定性评估的框架，旨在为决策者创造最大价值，减少情报失败的风险。第3章介绍了荷兰国防情报和安全局利用 "魔鬼建议 "来改进分析产品。第四章介绍了关于加拿大情报从业人员认为自己及其组织在多大程度上符合美国情报界第203号指令规定的分析严谨性标准的研究。在第五章中，英国分析传统技术培训小组的成员讨论了学术合作和内部研究如何促进循证传统技术在其组织中的实施。

本报告的第二部分（第6-9章）重点讨论了不确定情况下的信息评估。第6章介绍了一种基于预期信息价值建立情报收集优先级的新方法。第7章批判性地审查了目前评估来源可靠性和信息可信度的标准，并强调了未来研究的途径。接下来，第8章介绍了 "可靠性游戏"，作为衡量来源因素对人类处境意识影响的一种游戏方法。第九章接着讨论了风险游戏，这是一种评估专家如何处理异质信息、考虑信息质量和形成对同时发生的事件的信念的方法。

第三部分（第10-15章）探讨了不确定性下的情报和风险评估。第10章讨论了系统地监测地缘政治预测技能的重要性，并概述了这样做的经验方法。第11章重点讨论了信息安全持续监测（ISCM）在防御性网络行动中的挑战，并讨论了应用ISCM框架来改善情报评估。第12章介绍了关于竞争假设分析的有效性的实验研究，以及分析后的重新校准和汇总方法，作为提高分析员判断准确性的手段。第13章介绍了批判现实主义理论，以及批判话语分析和安全化理论的理论组成部分，它们共同为一种新颖的分析方法提供了框架：通过对比叙述进行分析。第14章接着介绍了一种以3值和6值逻辑的真值表形式结合分析判断的透明方法。第15章的结论是一个分类系统，它有助于将分析技术与具体的情报问题相联系。

本报告第四部分（第16-20章）根据SAS-114的最初目标，讨论了情报制作中不确定性的交流。第16章研究了自然语言中固有的不确定性是如何影响报告质量的，并提出了一种识别、评估和权衡文本信息的证据性的方法。第17章对美国和英国在情报分析中交流概率的政策进行了批判性评论。第18章介绍了由SAS-114的成员和附属机构收集的估计概率标准的注释集。同样，第19章介绍了SAS-114收集的用于评估和沟通分析信心的标准。第20章是报告的结尾，讨论了数字时代的交流，特别关注商业开放源代码情报中的不确定性沟通。

因此，本报告中的二十个章节涵盖了广泛的概念领域。SAS-114团队希望，读者会发现这套报告既能激发智力，又有实际用途。

专知便捷查看