《大型语言模型 (LLM) 对比研究》美海军最新报告

在过去几年中，大型语言模型（LLM）的能力迅速提高，OpenAI 的 GPT-4 就是最突出的例子。本案例研究探讨了 GPT-4 用于协助研究任务的两种方式：数据分析和撰写执行摘要。我们之所以选择这些任务，是因为它们在国防分析研究所（IDA）的项目中很常见，而且经常被作为适合大型语言模型的任务提出。首先，使用 GPT-4 完成了数据清理、探索、建模和可视化等任务。将其质量和速度与人类完成相同任务进行了比较。发现单独使用人工智能时，分析质量不够高，但有了人类伙伴后，分析质量大大提高。使用 GPT-4 节省了约 60% 的数据分析任务时间，并为该领域节省大量成本提供了机会。然后，使用 GPT-4 为三份公开的 IDA 出版物生成了执行摘要（EXSUM），并将其与人工生成的执行摘要进行了比较。发现大型语言模型生成的内容提要往往无法为技术性较强的论文提供适当的背景，但考虑到其生成速度和详尽程度，大型语言模型仍然提供了节省时间和成本的机会。