大型语言模型中的数字遗忘：遗忘方法的综述

大型语言模型已成为自然语言处理（NLP）和自然语言理解（NLU）任务中的最新技术水平。自从Vaswani等人在2017年发布变压器（Transformer）架构以来，多位作者已经利用这一架构或其变体来处理翻译、摘要、问答、情感分析或文本生成等任务。自OpenAI在2022年11月宣布并发布ChatGPT以来，该技术将大型语言模型（LLMs）的能力带给了广泛的用户群体，引发了几个主要问题，主要关注这些模型与社会价值和法律规则的一致性。这些关注点包括这些模型对劳动市场的影响、对个人隐私权的影响、对版权法的影响、对偏见和歧视的进一步推动，以及生成可能用于伤害人们的有害内容的潜力。解决这些问题的一个提议是数字遗忘。数字遗忘的目标是，给定一个具有不希望知识或行为的模型，获得一个不再出现检测到的问题的新模型。然而，有效的数字遗忘机制必须满足可能冲突的要求：遗忘的有效性，即新模型遗忘不希望的知识/行为的程度（通过正式保证或通过实证评估）；模型在期望任务上的保留性能；以及遗忘程序的及时性和可扩展性。 本文档的结构如下。第2节提供了LLMs的背景，包括它们的组成部分、LLMs的类型及其通常的训练流程。第3节描述了数字遗忘的动机、类型和期望属性。第4节介绍了LLMs中数字遗忘的方法，其中遗忘方法学作为最新技术而脱颖而出。第5节提供了LLMs机器遗忘方法的详细分类，并综述和比较了当前的方法。第6节详细介绍了用于评估遗忘、保留和运行时间的数据集、模型和指标。第7节讨论了该领域的挑战。最后，在第8节中我们提供了一些结论性的评论。