美空军部在采用大语言模型(LLM)时面临独特挑战。商用模型通常缺乏支持空军人员所需的领域专业知识,因为这些信息并未内置其中。为保持竞争优势,集成大语言模型以提升效率与决策能力已成为关键优先事项。本报告探讨两种创新方法,旨在将领域知识更有效地融入语言模型并提升相关信息发现能力。其一是实体图谱持续预训练技术,通过持续训练将专业知识嵌入语言模型;其二是GFM-RAG图谱检索增强生成框架,这是一种改进多跳检索与复杂信息连接的知识检索与合成新方法。通过定量与定性评估,衡量了它们对检索精度与响应相关性的影响。研究结果表明,这些定制化方法在简化信息获取、改进决策支持、更好满足空军部作战需求方面具有显著潜力。
人工智能融入军事作业的呼声不断高涨。然而,尽管商用大语言模型潜力巨大,但其处理涉密信息与适应特殊领域的能力不足,制约了在政府部门的推广应用。
美空军部非密级大语言模型(NIPRGPT)计划标志着国防部采纳该技术的重要进展。尽管如此,挑战依然存在,特别是满足各美国防部机构对细分领域定制模型日益增长的需求。这类模型将支持高智能体在垂直领域运作,为用户提供更精准的信息服务。
图1:NIPRGPT团队接收的定制化模型需求
传统的检索增强生成(RAG)方法通过外接文档检索增强大语言模型能力来应对这些挑战。但现有检索增强生成方案存在多重局限,包括多跳检索困难、数据稀疏性问题以及新信息合成复杂性。这些缺陷制约了大语言模型满足国防作战场景化需求的能力。
本研究评估两种方法论——实体图谱持续预训练与GFM图谱检索增强生成框架,通过将领域知识注入大语言模型,以提升其在空军作战环境中的性能。通过将这些框架应用于空军文档语料库,我们评估了其在检索精度、响应相关性和复杂信息合成方面的影响。初步结果表明,这些方法在专业任务的信息获取、决策支持和领域适应方面具有显著的提升潜力。