大语言模型增强知识表示学习综述

大语言模型（LLMs）与知识表示学习（KRL）的整合，标志着人工智能领域的重要进展，增强了捕捉和利用复杂知识结构的能力。这种协同作用利用了LLMs的高级语言和语境理解能力，以提升KRL的准确性、适应性和效能，从而扩展其应用和潜力。尽管有越来越多的研究集中在将LLMs嵌入到知识表示领域，但关于这些增强模型基本组件和过程的彻底审查明显缺乏。我们的综述通过基于三种不同的Transformer架构对这些模型进行分类，并分析来自各种KRL下游任务的实验数据，以评估每种方法的优势和劣势。最后，我们确定并探讨了这一新兴但尚未深入探讨的领域的潜在未来研究方向，提出了持续进展的路径。

介绍

大语言模型（LLMs）（例如，BERT [18]，LLaMA [59]），代表了一个不断增长模型大小的方向，这些模型在更大的语料库上进行预训练，已经展示出在解决自然语言处理（NLP）任务中的强大能力，包括问答 [99]，文本生成 [100] 和文档理解 [101]。关于模型大小，没有明确和静态的阈值。早期的LLMs（例如BERT，RoBERTa）采用了编码器架构，并展示了在文本表示学习和自然语言理解方面的能力。近年来，更多的关注点转向了更大的编码器-解码器 [102] 或仅解码器 [103] 架构。随着模型大小的增加，这些LLMs还展示了推理能力甚至更高级的新兴能力 [104]，展示出对人工通用智能（AGI）的强大潜力。

这个拐点，随着LLMs的到来，标志着从显式知识表示向重新关注显式知识和参数化知识混合表示的范式转变。作为显式知识表示的一种流行方法，知识图谱（KGs）现在被广泛研究，用于与基于Transformer的LLMs结合，包括预训练的掩蔽语言模型（PLMs）如BERT和RoBERTa，以及更近期的生成式LLMs如GPT系列和LLaMA。一些工作利用LLMs来增强知识图谱表示学习。在这篇综述中，考虑到三个方向，即基于编码器的方法、基于编码器-解码器的方法和基于解码器的方法。我们对从显式知识表示向重新关注显式知识和参数化知识混合表示的转变有了更深入的理解。

Cao等人 [22] 和Biswas等人 [40] 讨论了知识图谱表示学习的最新进展，但他们对与大型模型整合相关的方面处理不足。Pan等人 [42] 和Pan等人 [43] 探讨了知识图谱与大型模型的结合，特别是LLM4KG和KG4LLM；然而，他们在表示学习方面的覆盖有限。因此，目前还没有专门概述知识图谱表示学习领域最新发展的综述文章。

贡献 本综述的显著贡献总结如下：

• 知识表示学习的分类。我们系统总结了大语言模型可以采用的知识表示学习方法，包括基于编码器、基于编码器-解码器和基于解码器的方法。
• 技术的系统回顾。我们提供了关于大语言模型在知识图谱表示学习技术中的最全面概述。针对不同方法，我们总结了代表性模型，提供了详细的说明，并进行了必要的比较。
• 未来方向。我们深入探讨了语言模型在图谱上的基础原理，并提出了六个未来探索的前景方向。

组织结构 本综述的结构如下：

• 第2节介绍基础，包括知识图谱、大语言模型和基于文本的表示学习等相关概念。
• 第3节综述当前研究中采用的核心方法，将其分为三种Transformer类型。每个部分进一步探讨了各种子方法。
• 在第4节，我们从每个下游任务的性能评估结果讨论了每种方法的优势。
• 第5节概述了与讨论的类别相一致的潜在未来研究方向，并提出了有望实现显著进展的领域。
• 第6节的结论综合了综述中得出的见解，并突出了对未来研究的影响。