引言

军事和民事情报组织经常被要求为指挥官和决策者提供支持，他们的决定影响着国家和国际安全。除其他特征外，如及时性和相关性，情报组织应做出有严格分析支持的评估，准确无误，并明确传达给决策者。不确定性对情报的评估和沟通功能都构成了关键挑战。例如，分析员收到的信息的质量往往是不确定的，他们所依赖的概念模型也是如此。简而言之，大多数分析都是在不确定的条件下做出的人类判断。决策者可能希望完全消除不确定性，但情报组织必须努力将有关事件（概率）和他们的评估（信心）的挥之不去的不确定性尽可能连贯和清晰地传达出去，以避免误传。

SAS-114研究工作组通过研究(a)在不确定情况下促进情报评估准确性的现有和新方法，以及(b)在这种评估中沟通不确定性的标准来应对这些双重挑战。本报告概述了SAS-114所完成的研究和分析，分为以下四个部分。

第一部分（第1-5章）研究了情报生产管理的组织方面。第1章概述了目前由科学知识有限的思想领袖制定的情报培训如何未能解决不确定性沟通中固有的主观性或鼓励分析员的自我批判性认知。第二章根据英国国防情报局的经验，提出了一个不确定性评估的框架，旨在为决策者创造最大价值，减少情报失败的风险。第3章介绍了荷兰国防情报和安全局利用 "魔鬼建议 "来改进分析产品。第四章介绍了关于加拿大情报从业人员认为自己及其组织在多大程度上符合美国情报界第203号指令规定的分析严谨性标准的研究。在第五章中，英国分析传统技术培训小组的成员讨论了学术合作和内部研究如何促进循证传统技术在其组织中的实施。

本报告的第二部分（第6-9章）重点讨论了不确定情况下的信息评估。第6章介绍了一种基于预期信息价值建立情报收集优先级的新方法。第7章批判性地审查了目前评估来源可靠性和信息可信度的标准，并强调了未来研究的途径。接下来，第8章介绍了 "可靠性游戏"，作为衡量来源因素对人类处境意识影响的一种游戏方法。第九章接着讨论了风险游戏，这是一种评估专家如何处理异质信息、考虑信息质量和形成对同时发生的事件的信念的方法。

第三部分（第10-15章）探讨了不确定性下的情报和风险评估。第10章讨论了系统地监测地缘政治预测技能的重要性，并概述了这样做的经验方法。第11章重点讨论了信息安全持续监测（ISCM）在防御性网络行动中的挑战，并讨论了应用ISCM框架来改善情报评估。第12章介绍了关于竞争假设分析的有效性的实验研究，以及分析后的重新校准和汇总方法，作为提高分析员判断准确性的手段。第13章介绍了批判现实主义理论，以及批判话语分析和安全化理论的理论组成部分，它们共同为一种新颖的分析方法提供了框架：通过对比叙述进行分析。第14章接着介绍了一种以3值和6值逻辑的真值表形式结合分析判断的透明方法。第15章的结论是一个分类系统，它有助于将分析技术与具体的情报问题相联系。

本报告第四部分（第16-20章）根据SAS-114的最初目标，讨论了情报制作中不确定性的交流。第16章研究了自然语言中固有的不确定性是如何影响报告质量的，并提出了一种识别、评估和权衡文本信息的证据性的方法。第17章对美国和英国在情报分析中交流概率的政策进行了批判性评论。第18章介绍了由SAS-114的成员和附属机构收集的估计概率标准的注释集。同样，第19章介绍了SAS-114收集的用于评估和沟通分析信心的标准。第20章是报告的结尾，讨论了数字时代的交流，特别关注商业开放源代码情报中的不确定性沟通。

因此，本报告中的二十个章节涵盖了广泛的概念领域。SAS-114团队希望，读者会发现这套报告既能激发智力，又有实际用途。

内容提要

军事和民事情报组织经常被要求为指挥官和策略制定者提供支持，他们的决定影响着国家和国际安全。除其他特点外，如及时性和相关性，情报组织应做出有严格分析支持的评估，准确无误，并明确传达给决策者。不确定性对情报的评估和沟通功能都构成了关键挑战。例如，分析员收到的信息的质量往往是不确定的，他们所依赖的概念模型也是如此。简而言之，大多数分析都是在不确定的条件下做出的人类判断。决策者可能希望完全消除不确定性，但情报组织必须努力将有关事件（概率）和他们的评估（信心）的挥之不去的不确定性尽可能连贯和清晰地传达出去，以避免误传。

SAS-114研究任务组通过研究来应对这些双重挑战。

a) 在不确定情况下促进情报评估准确性的现有和新方法；以及

b) 沟通此类评估中不确定性的标准。

本报告概述了SAS-114所完成的研究和分析，分为四个部分。

a) 第一部分（第1-5章）探讨了情报生产管理的组织方面。

b) 第二部分（第6-9章）研究了不确定性下的信息评估。

c) 第三部分（第10-15章）研究不确定条件下的情报和风险评估；以及

d) 第四部分（第16-20章）研究了目前在情报生产中沟通不确定性的方法。

第一部分的核心主题是，情报组织需要积极主动地利用判断和决策的科学。第一部分进一步说明了盟国的情报组织正试图发展一种更加基于证据的分析技术和情报监督的方法。第二部分批判性地审查了目前评估信息有用性和质量的情报方法，并提出了替代方法。第二部分还介绍了测试分析员在不确定环境中如何评估信息质量的研究方法。第三部分描述了监测情报预测的准确性和监测防御性网络风险的方法。第三部分还对支持情报分析的替代方法给予了极大的关注，包括通过对分析员的支持，以及通过从决策科学中提取的分析后方法。第四部分集中讨论了自然语言和情报领域中不确定性的沟通。有几章对目前向决策者传达概率和置信度的情报（和其他专业）标准进行了批评分析。

尽管本报告所涉及的主题和调查方法多种多样，但有几个章节在一些关键结论上是一致的。首先，现有的交流信息质量、事件发生和评估准确性的不确定性的方法在多个方面存在缺陷，应促使北约下的情报界更密切地关注相关科学。具体来说，我们建议情报组织考虑使用数字概率，而不是目前使用的不确定性的模糊的口头表达。其次，我们建议情报组织在符合科学标准的实验中测试分析技术方法的有效性，并建议他们考虑在科学理论中具有更强基础的替代方法。这一点至关重要，因为正如我们的一些研究表明，现有的方法可能不仅不能提高分析的严谨性，事实上还可能削弱分析员的评估质量。最后，我们建议情报组织采用积极的自我监测系统，除其他外，跟踪他们提供给决策者的预测的准确性。

前言

SAS-114小组的前身是SAS-ET-CR探索小组，该小组于2014年12月在北约合作支持办公室（CSO）召开了一次会议。最初的想法是专注于审查不确定性和风险的沟通标准。根据英国的建议，将范围扩大，不仅包括不确定性的沟通，还包括在不确定性条件下如何进行评估。一年后，SAS-114研究任务小组（RTG）在CSO启动，最初的团队来自加拿大、丹麦、英国、荷兰和美国，以及北约的海洋研究和实验中心。随后，它的成员扩大到包括德国、挪威、西班牙和瑞典。在第一年内，SAS-114也变得很明显，它主要集中在情报分析领域。对情报的强调在活动中期的重新命名中被正式体现出来。SAS-114从情报界吸收了许多新成员，团队的组成变得真正多样化，包括科学家和情报专家的组合。每次会议的结构就像一个小型会议，旨在交流思想和新的发现，并做一些很少做的事情：给科学家和从业人员一个一年两次的几天空间来讨论情报分析中的挑战，并听取可用于改善情报和向决策者传达的前沿研究。因此，SAS-114也受益于来自科学界和情报界的大量特邀发言人。一个有代表性的例子是在会议记录中，沟通不确定性，评估信息质量和风险，以及在情报分析中使用结构化技术（doi: 10.14339/STO-MP-SAS-114），其中概述了Arne Biering在哥本哈根Kastellet举办的研讨会。SAS-114的会议结构与RTG的会议不同，是为了刺激坦率和公开的对话，并为合作的形成和发展提供机会。核心团队并没有着手设计所有成员都会参与的实验。相反，在双方兴趣浓厚且每个参与成员都有贡献的地方，形成了较小的合作集群。本报告中的许多章节概述了这种合作努力的结果。其中一些团队的努力仍在进行中，并不是所有的团队都已经成熟到可以在本报告中总结的地步。如果SAS-114在过去的三年里没有什么成果，这可能会被理解为 "未完成的工作"，然而根据任何合理的标准，SAS-114已经有了很高的成果，正在进行的合作更适合被理解为团队持续合作的力量和产生的潜力的明确标志，这将远远超过其预定的年份，甚至可能成为北约未来的一个或多个活动。

SAS-114被证明是一个公开对话和自我形成研究合作的实验，这一点在这份最终报告中得到了很好的体现。在报告中，读者将发现没有成员共同签署的共识文件，而是一个结构化分析、研究结果、专业见解和影响SAS-114关键焦点的思想文章的多样化集合。作为编辑，我偶尔会在实质性问题上对作者提出质疑，但这只是为了进一步突出论点，而不是为了强求一个共同的观点。本报告中的20个章节分为四个部分：（a）情报生产管理的组织方面，（b）不确定性下的信息评估，（c）不确定性下的情报和风险评估，以及（d）情报生产中的不确定性沟通。最后一部分正视SAS-114的最初目标，追溯到探索小组，而前三部分则强调该活动自早期开始以来的发展。

序文

指挥官和策略制定者需要高质量的信息来做出适当的决定。在处理他们自己的部队时，在正确的级别和正确的时间获得正确的信息，虽然不是小事，但可以通过卓越管理来实现。然后，风险可以得到适当的衡量和说明。然而，如果不注入大量的不确定性，再好的管理也无法提供关于一个合格对手的决策质量信息。

大部分的不确定性来自于无法获得第一手的信息，而不得不从不完整的或智能体的测量结果中进行推断--这种情况对于其他行业的分析人员来说是很熟悉的，无论是市场研究、运营研究还是财务分析。然而，其中一些不确定性来自于对手使用积极的欺骗手段，试图让我们自己的偏见对我们不利，以掩盖意图和能力。为了适应我们用来描述对手行动路线的描述词：如果第一个不确定性的产生者是最有可能的，那么第二个就是最危险的。它们共同为情报分析员提供了两个不同但相关的挑战：如何在这些条件下达成适当的评估，以及如何将这种不确定性适当地传达给决策者。

虽然在大多数情报组织中，促进情报评估的准确性和沟通不确定性的直观一致的程序已经使用了一段时间，但本报告中的研究表明，有些程序经不起科学方法的检验。这组论文中反复出现的主题是，随着我们继续在研究人员和从业人员之间不断加深理解，不断发展的判断和决策科学可以帮助发展一种基于证据的情报分析技术。

科学和战争之间的共生关系并不新鲜。从最早的洞穴居民尝试用棍子的大小、形状和材料来保护家人免受攻击，到隐形飞机的开发，研究、开发和国防从业人员之间的联系在 "行动"、"防护 "和 "感知 "的操作功能中一直很紧密。指挥职能，包括其情报子集，已被证明对科学界的帮助有更大的阻力。文化、难以让科学家获得适当级别的批准，以及发表机密到无法进行同行评审的研究缺乏吸引力，是造成这种距离的一些因素。

本技术报告收集了丰富的思想文章、专业见解和研究成果，是科学家和从业人员特意聚在一起讨论情报分析中的挑战的产物，这表明我们最终正在打破这一鸿沟。两个部落都肯定会从这种合作方式中获益，但最大的赢家无疑是情报的消费者：指挥官、策略制定者和他们所服务的人。