知识如何融入大模型？浙大陈华钧最新撰文《大型知识模型: 视角与挑战》详述LKM涵义

人类对世界的理解与我们的感知和认知有着根本性的联系，人类语言作为世界知识的主要载体之一。在这一背景下，大型语言模型（LLMs），如ChatGPT，体现了将广泛的、基于序列的世界知识预先训练到神经网络中，便于在参数空间中处理和操纵这些知识。本文通过“知识”的视角探讨大型模型。我们首先研究了符号知识，如知识图谱（KGs）在增强LLMs中的作用，涵盖了知识增强的语言模型、结构感知预训练、知识性提示、结构化CoT、知识编辑、LLM的语义工具和知识性AI代理等方面。随后，我们检验了LLMs如何放大传统的符号知识库，包括使用LLM作为KG构建者和控制器、结构化知识预训练、LLM增强的符号推理，以及感知与认知的融合。考虑到人类知识的复杂性，我们主张创建大型知识模型（LKM），专门设计用于管理多样化的知识结构。这一雄心勃勃的任务可能会面临几个关键挑战，如从语言模型中分离知识表示、用结构化知识重构预训练、构建大型常识模型等。最后，我们提出了一个五“A”原则来区分LKM的概念。

**语言与知识 **

1.1 人类语言和世界知识 人类在感知世界的过程中积累了关于世界的知识，其中自然语言是世界知识的主要载体[1]。从历史上看，绝大多数世界知识都通过自然语言来描述、记录和传承。除了记录常识性知识的自然语言外，人类还发明了各种科学语言来描述专门的科学知识，例如用于描述数学模型的数学语言[2, 3]、用于描述分子结构的化学语言如SMILE[4, 5]，以及用于模拟生物组成的遗传语言[6, 7, 8]。然而，自然语言仅通过词语序列对世界知识进行编码，而人类的认知过程远远超出简单词语序列。因此，从AI的早期构想开始，探索适合机器的知识表示（KR）格式就已成为一个基本目标[9]。这些努力的典型例子包括用于表示本体知识的描述逻辑[10]、基于规则的逻辑Prolog[11]、描述概念关系的语义网络[12]等等。 在传统的符号AI研究中，KR的逻辑结构和表达能力对于推理机器的推理能力至关重要[9, 10]。由简单词语或概念组成的自然语言序列通常被认为不利于机器进行推理，而层级分类、复杂本体和基于规则的逻辑则更有利于机器推理。正如稍后所强调的，即使在大型模型的时代，数据表示的复杂性水平与大型模型的推理能力之间仍然存在正相关关系。

1.2 语言模型与知识图谱

知识图谱（KGs）以图形结构的形式模拟世界实体、心理概念及其关系，这些通常从自然语言描述中提取或派生而来。受到传统符号AI的许多启发，KGs将自然语言描述和结构化知识整合在一起。典型的结构形式包括：层级结构（例如，概念图）、关系结构（例如，关系实体图）、时间结构（例如，事件逻辑图）等。与自然语言类似，KGs以明确的符号方式表示知识，因此为人类提供更高的可靠性和可解释性。 大型语言模型（LLMs）[13, 14]，如ChatGPT，标志着知识表示和处理的范式转变。通过自主压缩或将大量文本知识以人类语言的形式投影到神经网络中，LLMs实现了世界知识的参数化表示和处理。LLMs内化了大量文本语料库中深层的词汇模式和交互作用，建立了比传统符号知识库更广泛的知识覆盖。先进技术如提示或指令调整进一步赋予LLMs以先前人类知识，扩大了它们的概括能力和适应新任务的能力。与自然语言和KGs不同，LLMs完全基于参数化、对机器友好的基础上运作，尽管对人类来说解释性较差。 在本文中，我们旨在通过“知识”的视角探讨大型模型。我们的首要关注点是KGs如何增强LLMs。话题包括知识增强的语言建模、结构诱导预训练、知识性提示、结构化的思维链（CoT）、LLMs的语义工具、在大型模型中编辑知识，以及知识性AI代理的发展。我们进一步检验LLMs在丰富传统符号知识库中的作用，包括利用LLMs作为KG构建者和控制器、结构化知识预训练、LLM驱动的符号推理，以及感知和认知的融合。认识到人类知识的复杂性，我们接着概念化了一个旨在处理人类知识多样化结构的大型知识模型（LKM）。这可能涉及从语言模型中解耦知识、使用结构化知识重组预训练、构建大型常识模型等方法。为了区分LKM的概念，我们提出了一个五“ A ”原则，包括增强型预训练、真实知识、可追溯推理、丰富的知识覆盖范围以及与知识一致。 **知识增强型语言模型 **

朝向大型知识模型的第一步是将知识融入LLM。在这个语境中，“知识”特指更标准化的语义表征，如领域术语或本体，更结构化的知识表征，如知识图谱，或更丰富的逻辑描述，如带有思维链（CoT）的文本。我们将讨论知识如何在LLM的生命周期的各个方面有效应用，包括预训练、使用指令进行微调、提示工程、思维链、AI代理等。 **LLM增强型知识库 **

朝向大型知识模型的第二步是用LLM增强传统的符号知识库。在这个语境中，我们以知识图谱作为这类符号KB的一个范例。我们将探讨LLMs在增强知识图谱生命周期的各个阶段中的多方面作用，包括知识图谱的构建和管理、结构化知识预训练、符号推理等方面。 人类知识以其复杂性为特征，不能仅仅通过自由文本的序列来最佳地表示。我们对世界的描述往往涉及多种结构化形式。最终的目标应该是创建更先进的大型知识模型（LKM），它能够熟练地处理和解读知识表示的无数结构。本节旨在阐明开发此类大型知识模型的路线图，并识别其中的关键挑战。

在这最后一节中，我们努力提供有关大型知识模型（LKM）概念的一般描述，并概述其关键特征。我们使用图2所示的五“A”框架来概述LKM的基本方面。 • 增强型预训练：首先，大型知识模型应当通过多样化的知识结构进行训练，而不仅仅依赖于顺序词汇。这可以通过将额外的逻辑元素纳入提示指令中或通过增强结构连贯性来实现，无论是在样本间还是样本内，正如结构感知预训练[27]中所强调的。知识在大型模型中的存储方式应该类似于人类大脑中的知识组织。 • 真实知识：其次，大型知识模型应避免产生幻觉，并提供可独立验证的真实知识。这可以通过从语言模型中解耦知识表示来实现，从而允许独立地维护、验证和升级知识库。 •** 可追溯推理**：第三，整个系统应促进可追溯的推理过程，提高答案的可靠性及对人类的可解释性。这可以通过将外部知识库上的符号推理与大型语言模型的提示式推理相结合来实现。 • 丰富覆盖：第四，整个系统应提供广泛覆盖的一般性和特定领域知识。这个目标可以通过促进知识性AI代理社群的发展来实现，通过综合整合私人知识库、开放式常识知识和基于LLM的代理社群间的知识交换。 • 与知识一致：最后，整个系统应与人类价值观和伦理紧密一致，这些价值观和伦理是作为一种先进知识在人类历史上的积累而演变出来的。这可能通过创建复杂的伦理知识库和知识对齐技术[44]来实现，将伦理知识库视为对齐目标。 结论

自人工智能诞生以来，代表和处理世界知识一直是其核心目标。大型语言模型和知识图谱在处理世界知识方面显示出各自的优势和局限性。 大型语言模型在语言理解方面表现出色，而知识图谱提供了多样化的知识表示方法。这两种技术的更深入整合有望在人工智能领域提供一种更全面、可靠和可控的知识处理方法。 首先，KGs可以显著贡献于LLM开发的各个阶段。这包括通过优化训练语料或提示指令的结构和逻辑来增强模型能力和降低训练成本，以及解决幻觉生成问题。KGs也准备在AI代理社群的演变和未来发展中发挥关键作用。 其次，LLMs也可以多方面贡献于传统知识图谱技术栈。例如，基于指令的方法论可以促进知识提取，并增强泛化能力。LLMs先进的语言理解能力可以用于显著改进查询、回答和更新结构化知识等操作。此外，大型模型的常识推理能力，基于自然语言，可以补充和加强知识图谱的符号推理能力。 最后，人类知识的复杂性需要使用各种结构化描述来准确描绘世界。单纯的词语序列作为表示世界知识的媒介是不足够的。因此，最终目标是开发一种更先进的大型知识模型，擅长解读世界知识的众多结构。