《美国防部对人工智能和 LLM 编写评估因素的信心与偏见》2024最新275页论文

人工智能（AI）/大型语言模型（LLMs）在各种任务中都显示出了良好的前景，但在美国防部（DOD）中，对其在来源选择评估因素编写中的应用却没有进行深入研究。了解人工智能编写的评估因素的有效性对于可靠的决策至关重要。LLM 技术在美国防部的整合与人工智能的兴起相一致。这项探索性分析调查了美国防部采购专业人员对人工智能编写的评估因素的信心和偏见。乔治梅森大学（GMU）和海军研究生院的调查向专业人员提供了需求文档和人工或人工智能生成的评估因素。由于这两项调查在统计上存在显著差异，因此只采用了乔治梅森大学的数据。统计和定性分析评估了不同参与者分组和作者披露情况下的信心评级差异。结果显示，相对于人工智能编写，尤其是在年长的专业人员中，对人工智能编写的信心降低，并对算法略有反感。尽管存在包括抽样限制在内的局限性，但在对人工智能与人类产出的看法上出现了明显的差异。建议包括制定一份人工智能指南，以帮助在收购中负责任地使用人工智能。还需要对更多不同样本和各种人工智能工具进行进一步研究。这项初步工作推动了人工智能集成政策的讨论和公众对国防采购的信任。