《利用机器学习进行作战评估》兰德2022最新发布

2022 年 10 月 18 日 专知

1 报告概述

2022年5月9日兰德公司发布《利用机器学习进行作战评估》报告。作者描述了一种利用机器学习来支持军事作战评估的方法。他们展示了如何利用机器学习从情报报告、作战报告以及传统和社会媒体中的非结构化文本中快速、系统地提取与评估相关的见解。这些数据已经由作战级别的总部收集，通常是关于当地居民、敌人和伙伴部队的最佳可用信息来源，但很少被纳入评估，因为它们的结构不容易被分析。本报告中描述的机器学习方法有助于克服这一挑战。

本报告中描述的方法，作者利用最近结束的针对上帝抵抗军的战役进行了说明，使评估小组能够向指挥官提供关于战役的近乎实时的见解，这些见解是客观的，与统计学相关。这种机器学习方法可能特别有利于资源有限或没有具体评估数据的战役，这在资源有限或被拒绝地区的战役中很常见。这种机器学习的应用对大多数评估小组来说应该是可行的，并且可以通过公开和免费的机器学习工具来实现，这些工具已被授权在美国国防部系统上使用。

2 研究问题

如何利用机器学习工具将现有的情报报告、作战报告和环境数据（如社交媒体、传统媒体）纳入战争行动层面的评估？

3 研究背景

准确和及时的评估--提供关于哪些是有效的，哪些是无效的，以及如何改进作战的反馈--是所有美国军事作战的一个关键要求。对军事作战的评估是围绕战役的作战目标进行的，评估过程的重点是确定在实现这些目标方面是否正在取得进展。评估小组--最好是与指挥小组一起--确定与每个目标相关的预期效果，然后制定有效性措施（MOE），以跟踪实现这些目标的进展。

获得和处理正确的数据类型对于产生相关和可辩护的评估至关重要，这也是本报告的主题。有效的评估要求数据是客观的、纵向的、与军事作战希望达到的效果类型相关的、有适当的评估结构，并且有足够的时间频率来支持决策。

在以前的研究中，我们为特种作战部队（SOF）的作战评估开发了一种标准化的方法，我们发现作战总部已经收集的各种数据与评估有关，但很少被使用。三种类型的数据--情报报告（如来自人类情报或信号情报来源）、作战报告（如情况报告[SITREPs]）和环境数据（如社交媒体）中已有的对正在发生的事件的文字描述，往往是有关当地居民、敌人和伙伴部队的最佳可用信息来源。然而，这些数据的结构很少能被轻易地纳入评估过程。

本报告描述了一种方法，即如何利用机器学习（ML）工具将这些现有数据纳入作战评估。我们展示了一个基于ML的文本分类器如何快速整理和准备这些数据，以便使用评估小组常用的标准统计工具进行后续分析。然后，我们使用最近结束的针对上帝抵抗军的作战数据来说明这一方法。这种基于ML的方法对大多数评估小组来说应该是可行的，并且可以用公开和免费提供的ML工具来实施，这些工具已被预先授权用于美国国防部（DoD）的机密系统。

本报告所描述的方法使评估小组能够准确、及时地了解一场战役，为指挥官提供近乎实时的、客观的、与统计学相关的结果。可以使用我们的方法分析的每一种类型的数据--情报、作战和环境--为理解一个战役的效果提供了一个不同的视角。在有评估特定数据（如投票）的军事作战中，这些新的数据来源使评估小组能够对调查结果进行三角测量，提高评估的可靠性。然而，ML工具在评估专用数据有限或没有的情况下特别有用--这在资源有限或在被拒绝地区的作战中很常见。

4 评估方法：有监督机器学习

我们的分析集中在一个具体ML评估应用上：使用 "有监督机器学习"（SML），从现有的情报、作战和环境报告中的非结构化文本中构建一个可供评估的数据库。SML的这种应用的直觉是相对简单的。首先，人类分析员通过手工审查和分析可用的非结构化文本的一个子集。这第一步的输出通常被称为 "训练数据"。然后，ML算法分析这个训练数据，并试图模仿人类分析师对所有剩余文本使用的相同分析过程。

这种方法允许评估小组系统地编辑非结构化文本中的信息--每份报告中提供的定性描述成为客观和定量评估中的单一数据点--然后检查这些信息如何随时间演变。这种方法是将ML纳入评估过程的最简单方法，但它仍然是一种有效的方法，可以从这些现有数据中信息丰富的非结构化文本中获得与评估相关的见解。

在本报告中，我们详细说明了一个五步工作流程，并在图S.1中进行了总结，评估小组可以按照这个流程将SML纳入评估过程。

图S.1 用于评估工作流的监督机器学习

第1步是整理大量的潜在相关报告--通常是数以千计的年度报告（或更多）--可用于大多数业务。这个整理过程包括删除不必要的重复内容，并将数据重新组织成适合ML算法分析的格式。在我们的方法中，现有报告中的非结构化文本被分为单句，然后分析其与竞选活动的相关性。
第2步是制定适合每个相关MOE的编码标准。这些编码标准是归纳出来的，评估小组首先审查现有的数据，以确定哪些MOE是可以用现有的数据衡量的。然后，评估小组制定具体的编码标准--也就是一套规则，说明什么时候一份报告应该被认为与该MOE相关（或不相关）。至关重要的是，这些编码标准要足够清晰和详细，以便于复制，使不同的分析员在应用这些标准时产生几乎相同的结果。本报告为每一类数据（情报、作战和环境）提供了常用的MOE的编码标准样本，尽管具体的编码标准必须是针对作战的。
第3步是准备训练数据，这是SML方法中ML算法的主要输入。这些训练数据是整体非结构化数据的一个子集，由评估小组使用步骤2中制定的编码标准进行审查、分析和编码。确保编码标准的稳健性和可复制性是开发这些训练数据的一个关键组成部分，因为ML算法试图复制人类分析员的编码。
第4步是实现和校准一个或几个选定的ML算法。校准过程包括审查由ML算法编码的报告，以验证其准确性--也就是说，即确保被识别为相关的报告确实是相关的。如果算法表现不佳，评估小组需要调整算法参数或扩大训练数据的数量。在一个实际的活动中，这个校准过程应定期重复，以确保算法在更多的数据可用时仍然表现良好。
第5步，评估小组处理来自ML算法的输出，以整合到评估过程中。ML算法的输出是一个结构化的数据库（例如，Excel），确定所有满足步骤2中制定的编码标准的报告。这种通用的结构化格式允许用评估小组常用的工具进行分析，并便于插入现有的态势感知工具中。在某些情况下，可以直接分析这些数据，以产生报告在一段时间内的趋势线，例如，以正面方式讨论一个实体（如敌人或伙伴部队）的社交媒体报告的百分比与以负面方式讨论它的数量相比。在其他情况下，这些数据需要与报告中的其他信息相结合--例如，提取特定地点的信息可以使评估小组生成不断变化的敌人作战自由地图。

主要发现

机器学习可以成为支持作战评估的有力工具

作战总部已经收集的数据--情报报告、作战报告和环境数据（社会和传统媒体）--往往是关于敌人和伙伴部队以及当地居民的最佳可用信息类型。然而，它们很少被纳入评估，因为它们往往（1）不被认为是足够客观的，（2）没有以易于分析的结构化格式提供，以及（3）数量极大，需要花费一些精力来获取和组织。
机器学习（ML）工具，可以快速摄取和解释大量的非结构化文本，允许对这些数据进行快速、系统和客观的分析，产生关于作战的客观和统计相关的见解。
监督机器学习（SML）是使用ML将这些数据纳入评估过程的最简单方法。在SML方法中，评估小组首先通过手工分析非结构化文本的子集，然后应用ML算法来模仿评估小组对剩余数据的分析方法。
ML衍生的数据可以为指挥官提供关于战役的近乎实时的洞察力，每种类型的数据（情报、作战和环境）为理解战役的效果提供不同的视角。
ML工具在评估数据有限或没有评估数据的战役中特别有利--这在资源有限的战役或在被拒绝的地区很常见。
这种基于ML的方法对大多数评估小组来说应该是可行的，并且可以用免费提供的ML工具来实施，这些工具已被预先授权用于美国国防部的机密系统。

主要建议

我们的研究确定了五个建议，这些建议将提高基于ML的评估方法的价值。

建议1：在受控演习中验证SML方法。本报告所描述的方法是特意设计的，以使评估小组尽可能容易复制，而且该方法的设计依靠的是既免费又已被批准在许多军事网络上使用的工具。然而，尽管我们已经用实际作战测试了我们的方法，但我们并没有试图在实时或与军事分析员团队一起做这件事。因此，我们建议利用实战演习，但在受控条件下验证各项要求--如任务前培训、人员配置、分析工具的可用性和必要的数据访问。
建议2：探索如何利用无监督的ML为作战评估提供信息。无监督的ML可以提供一种工具，用于发现战役活动和这些活动的行动目标之间的未预期模式。经过评估小组的审查，这些信息可以为指挥官提供一个宝贵的工具，用来探索未预料到的模式。考虑到我们的任务是探索如何利用ML将现有数据用于评估，我们没有详细研究将无监督ML纳入评估的实用性或价值。
建议3：对作战报告实施适度的标准化。SITREP和其他作战报告往往是关于伙伴部队活动和能力的唯一最佳历史数据来源，而且这种报告还可以提供关于美国部队活动的详细历史记录。这些特点使作战报告成为评估小组潜在的有力工具--特别是如果有ML（或类似的）工具可以快速提取与评估有关的信息--但这种报告在质量和细节上并不一致。我们建议对这种作战报告进行适度的标准化。要求（简单地）战术部门持续讨论其伙伴部队的活动和能力。
建议4：改善历史情报和作战报告的归档、发现和提取。获取和提取本报告所述方法所需的相关情报和作战报告在现有系统中并不容易。对于情报报告，我们建议在现有系统中增加快速提取纵向数据（如三个月或更长时间的数据）的能力，以满足一组特定的搜索参数（如地理、布尔逻辑），其中包括报告全文和一些关于数据的基本描述性信息（日期、来源等）。对于业务报告，我们建议业务层面的总部确保所有下属总部的SITREPs被系统地归档。
建议5：扩大专业军事教育中要求的具体评估讨论。尽管承认评估对军事行动的重要性，但在向联合部队提供的与评估有关的教育和培训方面存在重大差距。因此，评估小组往往难以提供指导有效决策所需的信息，而作战级总部的其他工作人员往往缺乏经验。

专知便捷查看