大模型如何做知识编辑？弗吉尼亚大学最新《大型语言模型的知识编辑》综述

近年来，大型语言模型（LLMs）因其出色的理解、分析和基于其广泛知识和推理能力的文本生成能力，已经重塑了学术和工业领域。尽管如此，LLMs的一个主要缺点是由于其前所未有的参数量，其预训练的计算成本相当高。当需要经常向预训练的模型中引入新知识时，这一缺点会被放大。因此，开发有效且高效的技术来更新预训练的LLMs至关重要。传统方法通过直接微调将新知识编码到预训练的LLMs中。然而，重新训练LLMs可能在计算上很密集，并且面临退化与模型更新无关的宝贵预训练知识。最近，基于知识的模型编辑（KME）受到了越来越多的关注，其目的是精确修改LLMs以纳入特定的知识，而不负面影响其他无关的知识。在这次综述中，我们旨在提供关于KME领域近期进展的全面且深入的概述。我们首先介绍KME的一般公式，以涵盖不同的KME策略。之后，我们根据新知识如何被引入到预训练的LLMs中提供了KME技术的创新分类，并研究现有的KME策略，同时分析每个类别的方法的关键见解、优点和局限性。此外，相应地介绍了KME的代表性指标、数据集和应用。最后，我们对KME的实用性和剩余挑战进行了深入的分析，并建议在这一领域进一步发展的有前景的研究方向。

近期，大型语言模型（LLMs）已成为一个热门话题，彻底改变了学术界和工业界[10, 78, 106, 122]。通过在大型语料库上进行预训练，获得了大量的事实知识和推理能力，LLMs展示了对文本信息的前所未有的理解，能够像人类专家一样分析和生成文本。然而，LLMs的一个主要缺点是由于参数数量庞大，训练过程的计算开销极高。随着世界的不断进化，经常出现更新预训练LLMs以纠正过时信息或纳入新知识以保持其相关性的需求，这使得该问题进一步加剧[124]。例如，在图1中，一个过时的LLM无法准确描述Lionel Messi的最新成就，这需要明确注入新知识以生成正确的答案。

更新预训练的大型语言模型（LLMs）的一个可行而直接的策略是通过朴素的微调[15, 26, 103, 116]，在此，预训练LLMs的参数直接被优化，以从新数据中编码新知识[5, 72, 80, 122]。例如，提出了各种基于指令调整的方法，以在新收集的语料库上以有监督的学习方式微调预训练的LLMs[73, 81, 112, 114]。尽管这样的微调技术被广泛使用，并且能够将新知识注入到LLMs中，但它们因以下缺点而闻名：(1) 即使提出了一些参数高效策略来提高效率[66, 113, 120]，微调LLMs可能仍需要大量的计算资源[70, 75, 123]。 (2) 细调模型可能会过拟合新数据，尤其是当用于细调的数据集规模较小时[19, 71, 74]。 (3) 更重要的是，微调LLMs会不受约束地改变预训练的权重，这有可能丧失LLMs中的宝贵现有知识[24, 48, 69]。这些挑战限制了使用微调技术更新LLMs新知识的实用性。

为了解决更新LLMs的微调的缺点，更多的注意力已被赋予基于知识的模型编辑(KME)，也被称为知识编辑。一般来说，KME旨在精确修改预训练LLMs的行为，以更新特定的知识，而不负面影响与更新无关的其他预训练知识[85, 111, 119]。在KME中，LLMs中特定知识的更新通常被制定为一个编辑，例如将“谁是美国总统？”的答案从“特朗普”更正为“拜登”。关于特定的编辑，KME策略通常通过引入辅助网络（或一组参数）到预训练模型[41, 63, 124]，或更新（部分）参数以存储新知识[16, 39, 40, 64]来修改模型输出。通过这些策略，KME技术可以在内存中存储新知识或在模型参数中定位它进行更新，从而精确地将知识注入模型。此外，某些方法还引入明确的损失以包含更新过程，从而使编辑后的模型在未修改的知识上保持一致的行为。借助这些优势，KME技术可以提供一种高效且有效的方法，不断地用新知识更新LLMs，而无需明确地重新训练模型。

尽管KME与微调策略有某些相似之处，但它在更新LLMs方面具有独特的优势，值得深入研究。特别是，KME和模型微调都寻求通过注入新知识来更新预训练的LLMs。然而，除了这一共同目标外，KME更加关注两个关键属性，这两个属性不能容易地由微调来解决。 (1) 局部性要求编辑过的模型不会无意中影响具有不同语义的其他不相关输入的输出。例如，当有关美国总统的编辑得到更新时，编辑过的模型不应改变其关于英国首相的知识。KME方法的实用性在很大程度上依赖于它们维持与不相关输入的输出的能力，这是KME和微调之间的主要区别[86]。 (2) 通用性代表编辑过的模型是否可以泛化到与编辑知识相关的更广泛的输入范围。具体来说，它表示模型在具有语义相似性的输入上表现出一致行为的能力。例如，当模型关于总统的部分被编辑时，对总统配偶的查询的答案也应相应地改变。在实践中，确保KME方法使编辑过的模型能够很好地适应这些相关的输入文本是很重要的。总之，由于这两个独特的目标，KME仍然是一个具有挑战性的任务，需要特定的策略才能获得令人满意的有效性。

与现有综述的区别：已经进行了几次综述来检查(大型)语言模型的各个方面[11, 29, 51, 53, 104, 122]。尽管如此，仍然缺乏彻底的综述，可以全面涵盖现有的文献和LLM编辑领域的持续进展。例如，最近的工作[73, 114]已经讨论了在预训练的LLMs中使用更多的数据样本合并新知识的微调策略。然而，KME的独特性，即局部性和普遍性，并没有得到充分的讨论，这将在这次综述中得到彻底的分析。另外两项综述[30, 47]回顾了知识增强的语言模型。但是，他们的主要关注点是利用外部知识来增强预训练的LLMs的性能，而没有解决基于特定知识的编辑任务。据我们所知，与我们的综述最相关的论文是[119]，它提供了KME的简要概述，并简洁地讨论了KME方法的优势和它们的挑战。尽管如此，这项综述缺乏对KME的更多细节，例如分类、数据集和应用程序的彻底审查。另一项最近的工作[111]提出了一个统一了几种代表性方法的KME框架。这项工作侧重于KME技术的实现，而对不同策略的技术细节的重视较少。最近，一项工作[85]讨论了KME方法在编辑模型的忠实性方面的局限性，而它相对较短，缺乏对所有现有方法的更全面的介绍。考虑到KME技术的快速进展，我们认为有必要回顾所有代表性KME方法的细节，总结共同点，同时讨论每种方法的独特性，并讨论KME领域的开放挑战和前瞻性方向，这将促进该领域的进一步发展。

本次综述的贡献：本次综述提供了对预训练LLMs的编辑技术、挑战和机会的全面和深入的分析。我们首先提供了KME任务的概述，以及一个创新的公式化。特别是，我们将一般的KME任务公式化为一个受限制的优化问题，同时结合了准确性、局部性和普遍性的目标。然后，我们将现有的KME策略分类为三个主要类别，即外部记忆、全局优化和局部修改。重要的是，我们证明了每个类别中的方法都可以被公式化为一个专门的受限制的优化问题，其中的特性基于一般的公式化理论总结。此外，我们提供了关于每个类别中方法的有效性和可行性的有价值的见解，这可以帮助实践者选择最适合特定任务的KME方法。我们对KME方法的优点和缺点的分析也为KME研究社区的持续进展起到了催化剂作用。总之，我们的主要贡献可以总结为以下三个方面：

•** 新的分类法**：我们引入了一个全面和结构化的分类框架，系统地总结了LLM编辑的现有工作。具体来说，基于如何将新知识引入预训练的LLMs，我们的分类包括三个不同的类别：外部记忆、全局优化和局部修改，其中这些类别的共性和差异在这次调查中都得到了彻底的讨论。

• 深入分析：我们将LLM编辑任务公式化为一个受约束的优化问题，其中每个类别的方法都可以被视为具有细化约束的特殊情况。此外，我们强调了每个类别的主要见解、优点和局限性。在这个背景下，我们深入研究了每个类别的代表性方法，并系统地分析了它们之间的联系。 • 未来方向：我们分析了现有KME技术在各种数据集和应用程序中的实用性。我们还全面讨论了现有KME技术的挑战，并提出了未来探索的有前景的研究方向。

本文的其余部分组织如下。第2部分介绍了LLM编辑的背景知识。第3部分提供了KME任务的一般公式，可以适应各种应用场景。第4部分为KME策略提供了一个全面的评价指标总结，这对于公正地比较各种方法至关重要。在深入探讨具体方法之前，我们在第5.1节为现有方法提供了一个全面的分类，其中讨论了它们的关系和差异。然后我们详细介绍了三个类别中的方法，其中总结了每个类别的优点和局限性。第6部分介绍了广泛使用的公共数据集。第7部分详细介绍了可以从KME技术中受益的各种实际任务。第8部分讨论了现有技术尚未解决的KME的潜在挑战。这一部分还提供了一些可以激发未来研究的潜在方向。最后，我们在第9部分总结了这次综述。

面对旧信息的快速折旧和新知识的出现，各种KME方法已经被提议来更新预先训练的LLMs，以保持它们的最新性和相关性。KME确保新知识能够高效地融入预训练的LLMs，而不会负面影响与编辑无关的预训练知识。 在这份调查中，我们将现有的KME方法分为以下三个主要类别：

• 基于外部记忆的方法利用外部存储器来存储新的知识，以进行编辑，而不修改预训练的权重，其中预训练的知识可以在LLM权重中完全保留。通过使用外部参数存储新知识，基于记忆的策略能够准确地表示新知识，并具有良好的可伸缩性，因为记忆容易扩展以融入新知识。

•** 全局优化方法通过优化在新知识的指导下寻求将新知识普遍地合并到预训练的LLMs中**，其中引入了定制策略来限制其他预训练知识的影响，与简单的微调区分开来。然而，由于需要优化的参数数量众多，这些方法在应用于LLMs时可能在编辑效率上有所不足。

• 基于局部修改的方法旨在找到LLMs中特定知识的相关参数，并相应地更新它以融入与编辑相关的新知识。局部修改的主要优势是只可能更新模型参数的一小部分，从而与基于记忆的方法相比提供了相当的内存效率，并与全局优化相比提供了计算效率。

上述分类是基于新信息被引入LLM的位置（例如，外部参数或内部权重）和方式（例如，通过优化或直接合并）进行的。具体而言，每个类别的方法在Sec. 4中引入的四个关键评估指标方面都展现出不同的优势和劣势。例如，当计算资源有限而需要大量编辑时，外部记忆在场景中占优势，因为记忆的大小可以控制以适应不同的要求。另一方面，当实践者更关注编辑知识的普遍性时，全局优化是有利的，因为优化可以促进相关知识的学习[2]。该分类法在图3中进行了直观的说明，并在表2中总结了所有方法的具体特点。

在这次综述中，我们对知识为基础的模型编辑（KME）技术进行了全面而深入的调研，以准确且高效地更新预训练LLMs中的新知识。我们首先将KME问题构建为一个受约束的优化目标，该目标同时确保编辑的准确性和保留，这适用于包括不同KME策略。接着，我们提供了KME的评估指标概述，这有助于了解编辑模型的理想属性。随后，我们提出了一个结构化的分类框架，以系统地分类现有的KME技术。在每个类别中，我们概述了核心挑战，详细说明了代表性方法，并讨论了它们的优势和劣势。此外，我们总结了广泛用于评估KME技术的数据集，强调某些技术需要特定的数据集结构进行训练或评估。为了激励研究人员设计更多的实际实现，我们还强调了KME技术的实际应用。最后，我们确定了未来研究的几个潜在挑战，并提供了有助于进一步推进该领域的有见地的方向。