知识图谱与大模型融合综述

大模型（LLM）的兴起在自然语言处理领域引起了广泛关注，其涌现能力在各个垂直领域（如金融、医疗、教育等）也取得一定进展。然而，大模型自身面临解释性不足、知识实时性差、生成结果存在虚假信息等诸多挑战。为了应对这些问题，知识图谱与大模型的融合逐渐成为了研究热点。知识图谱作为一种结构化的知识模型，其真实性和可靠性，成为提高大模型解释和推理能力的有力工具。同时大模型具备语义理解能力，为知识图谱的构建和更新提供了有力支持。因此，知识图谱和大模型是互补的（本文称为图模互补）。本文系统性地介绍知识图谱与大模型融合的方法，分别从 1）大模型增强知识图谱，2）知识图谱增强大模型，两个角度进行全面的回顾和分析。最后，本文从医学诊断预测和时间知识图谱出发，介绍图模互补的领域应用，并讨论图模互补未来发展的方向，为知识图谱与大模型的进一步研究提供帮助。近年来，自然语言领域出现了一项令人瞩目的技术：大模型。大模型（LLM）是指通过超大规模文本数据训练出来的神经网络模型，由预训练语言模型（PLM）发展而来，其特点是模型规模较大，参数通常在数十亿乃至万亿级别。相较于传统的预训练语言模型，大模型在处理复杂任务时表现出特殊的能力（涌现能力[1] 、推理能力[2] ）。相关研究表明，大模型不仅能够理解和处理大规模的文本数据[3] ，同时还具备上下文学习能力[4] 和领域泛化能力。这使得它们成为各种自然语言下游任务的通用选择，能够轻松进行少样本迁移学习[5] 。如今，AI 领域中涌现出许多具有代表性的大模型，例如对话式语言大模型 ChatGPT[6] 、增强推理能力的多模态大模型 GPT-4[7] 等等。这些模型不仅在传统的自然语言处理领域（如搜索引擎[8] 和机器翻译[9] ）取得一定进展，还在金融[10] 、医疗[11] 、教育[12] 等各种领域提供有效帮助。大模型对传统的自然语言处理领域带来冲击，促使学者重新思考通用人工智能的可能性[13] 。目前，虽然大模型引起了广泛的关注，但它仍然面临着诸多挑战，包括模型内部的不可控性，缺乏解释性[14] 、无法保证知识实时性[5] 、语言数据质量的不确定性，以及产生幻觉和有毒信息的潜在风险[15] 。为了应对这些挑战，学者们开始思考将知识图谱与大模型融合[5] 。知识图谱是一种用于表示和存储知识的网络图形结构，其中节点表示实体，边表示实体之间的关系[16] 。知识图谱以其数据的真实性而著称，这一特点可以有效地减轻大模型产生幻觉的问题。例如 KELM 语料库[17] 、通用模型 KG⁃ PT[18] 为大模型提供基于知识图谱转化的真实文本信息。大模型作为一个“黑盒模型”其输出结果通常难以解释，而知识图谱内部的结构知识更接近人类认知。因此，知识图谱可以提供一种解释和推理知识的手段，探究大模型内部复杂的工作步骤和推理过程。例如个性化知识库与大模型集成的检索框架 KnowledGPT[19] ，提高处理复杂搜索和歧义的能力。此外，知识图谱还可以作为外部检索工具，帮助大模型解决公平、隐私和安全等问题[20] 。如今知识图谱的规模越来越大，传统的图谱构建、补全技术也面临许多难题，如数据获取、实体识别、知识抽取和实体消歧等[21] 。大规模知识图谱的构建往往需要投入大量的人力、物力和时间成本，且依旧无法保证知识图谱质量和可用性。而大模型能有效解决这些问题。大模型内部存在海量的知识信息，在处理复杂的文本数据信息时，能够迅速地进行实体识别与抽取，有效应对知识构建和补全的挑战[22] 。此外，链接预测是知识图谱推理和问答的关键步骤，在零样本和少样本学习中，大模型同样能够有效地挖掘实体间的逻辑关系。根据知识图谱和大模型的上述特点，本文认为知识图谱和大模型是相互补充的，称为“图模互补”，图 1 为知识图谱与大模型的优缺点总结。知识图谱与大模型融合是一个热门研究领域[23~25] 。文献[25]提出了统一大模型与知识图谱的前瞻性路线图，总结了现有的大模型与知识图谱的先进技术，并讨论大模型与知识图谱融合的相关挑战和发展方向。其整体路线划分与本文有所差异，本文从作用功能角度进行划分，根据知识图谱和大模型在领域中的地位，将其融合划分为两个不同的类别：大模型增强知识图谱和知识图谱增强大模型。并从增益的效果出发，将每个大类别细分为不同的小类别，最后探究图模互补的领域应用。

成为VIP会员查看完整内容