美国防部（DoD）《用于培训成本估算人员的认知助手》2023最新22页报告

本研究项目的目标是开发一种认知助手，以支持美国防部（DoD）对新成本估算人员的培训。认知助手（CA）在这里被定义为一种人工智能（AI）工具，通常具有自然语言界面，通过检索和处理来自多个信息源的相关信息，并在适当的时候将其提供给用户，从而在特定任务中增强人类的智力。它还具有学习和适应用户和手头问题的能力。

成本估算是一个复杂的迭代过程，由多个步骤组成：收集所需信息、选择总体战略和一个或多个现有模型、根据需要开发新模型（包括校准和验证）、执行估算以及酌情进行敏感性分析。初级成本估算人员在每个步骤中都会遇到挑战，包括处理不完整的数据集、适当评估新模型的性能、预测历史有效范围之外的情况、充分报告点估算的不确定性水平、了解如何使用成本-进度联合分布等。

目前，对新成本估算人员的培训主要是通过现场课堂的传统教学进行的，因此这是一个耗时的过程。传统教学通常意味着实践学习机会的减少，而众所周知，实践学习可以提高学习效果。这种教学方式也不是根据每个人的具体情况量身定做的，因此对于某些学员来说，教学进度可能太快，而对于另一些学员来说，教学进度可能太慢。正如其他教育领域的智能辅导系统所证明的那样（Corbett et al.）

使用人工智能工具来提高受训人员的学习能力并不是什么新想法，几十年来一直在研究（Ong 和 Ramachandran，2003 年）。然而，在国防部采购领域，仍处于将先进的人工智能工具纳入工作流程的早期阶段，特别是 CA 还没有被用作培训工具。由于底层机器学习（ML）模型性能不足和用户不熟悉这种交互模式，以前在工作场所采用这种技术的尝试都失败了。随着 CA 在日常生活中无处不在，以及最近在机器学习方面取得的重大进展，将这种技术引入工作场所的时机已经成熟。

在该项目的第一孵化阶段（10 万美元，2021 年 9 月至 2022 年 6 月），研究团队与赞助商和其他利益相关者合作，确定了 CA 的用例。决定将重点放在已经熟悉成本估算方法，但希望学习一种新商品（即空间系统）的用户身上。该工具将帮助用户以个性化的方式学习新材料。在团队开发的名为 Daphne 的现有智能体的基础上开发了 CA 的初始版本。这使能够快速取得进展，因为一些软件基础架构可以重复使用。此外，还展示了在为各种学习评估和学习机会选择问题时进行个性化培训的能力，这些问题和机会最能满足用户的需求（例如，强化薄弱环节）。对美国防部开发和维护这种工具所需的资源进行了初步估算。

该项目被批准进入第二阶段，目标是进一步开发智能体，并与实际用户进行验证。本文件报告了第二阶段第一年的成果（13.4 万美元，2022 年 9 月至 2023 年 9 月）。在此期间，开发了第二版智能体，利用大语言模型（LLMs）使系统更加灵活、可扩展、易维护。此外，还开发了一个包含幻灯片、例题和测验的三模块空间系统在线课程，并已开始在德克萨斯农工大学（TAMU）对该工具的有效性进行全面测试。

未来的研究计划包括提供更长的在线课程，并与成本评估和项目评价办公室 (CAPE) 的真实用户进行测试。此外，研究小组还将完善对开发和维护成本的估算。