什么是上下文工程？中科院计算所等《大语言模型的上下文工程》综述

摘要： 大型语言模型（LLMs）的性能从根本上取决于推理过程中提供的上下文信息。本综述介绍了“上下文工程”这一正式学科，它超越了简单的提示设计，涵盖了对LLMs信息负载的系统化优化。我们提出了一个全面的分类法，将上下文工程分解为其基础组件和将这些组件整合进智能系统的复杂实现。首先，我们审视了基础组件：（1）上下文检索与生成，包括基于提示的生成和外部知识获取；（2）上下文处理，解决长序列处理、自我优化以及结构化信息整合；（3）上下文管理，涵盖了记忆层次、压缩与优化。接着，我们探讨了这些组件如何架构化整合，形成复杂的系统实现：（1）检索增强生成（RAG），包括模块化、智能体化和图增强架构；（2）记忆系统，实现持久交互；（3）工具集成推理，用于函数调用与环境交互；（4）多智能体系统，协调通信与编排。通过对超过1400篇研究论文的系统分析，本综述不仅为该领域建立了技术路线图，还揭示了一个关键的研究空白：当前模型与上下文工程的增强使其在理解复杂上下文方面表现出色，但在生成同样复杂的长篇输出方面仍存在明显限制。解决这一空白是未来研究的核心任务。最终，本综述为研究人员和工程师提供了一个统一的框架，推动上下文感知AI的发展。

关键词： 上下文工程、大型语言模型、LLM智能体、多智能体系统

1. 引言

大型语言模型（LLMs）的出现标志着人工智能的范式转变，展示了前所未有的自然语言理解、生成和推理能力【103, 1059, 453】。然而，这些模型的性能和效能从根本上受到它们所接收的上下文的支配。这个上下文——从简单的指令提示到复杂的外部知识库——是引导其行为、增强其知识并释放其能力的主要机制。随着LLMs从基础的指令跟随系统发展为复杂应用的核心推理引擎，用于设计和管理它们信息负载的方法也相应演变成了正式的上下文工程学科【25, 1256, 1060】。

上下文工程的领域以爆炸式的速度扩展，导致了大量专门但零散的研究领域的涌现。我们将这一领域视为由基础组件及其后续实现所组成。基础组件代表了上下文工程的系统化流程，涵盖三个关键阶段：上下文检索与生成，包括基于提示的生成和外部知识获取【25, 591, 48】；上下文处理，涉及长序列处理、自我优化机制以及结构化信息整合【196, 735, 489】；上下文管理，涉及记忆层次、压缩技术和优化策略【1362, 1074, 813】。

这些基础组件作为构建更复杂、面向应用的实现的基石，桥接了LLMs与外部现实。这些系统包括检索增强生成（RAG），它已经发展为模块化和智能体化的架构，用于动态知识注入【591, 312, 965, 311】；模仿人类认知功能的显式记忆系统，用于持久信息保持【1182, 935, 1362】；以及整个智能体系统生态系统。后者代表了上下文工程的巅峰，在这些系统中，智能体利用函数调用和工具集成推理与外部世界互动【931, 858, 663】，并依赖于复杂的智能体通信协议和上下文编排，在多智能体配置中实现复杂目标【356, 246, 894, 128】。

虽然这些领域各自产生了大量创新，但它们主要是孤立研究的。这种碎片化的发展掩盖了技术之间的基本联系，并为研究人员理解整体领域以及实践者有效应用这些方法创造了巨大的障碍。该领域急需一个统一的框架，系统地组织这些不同的技术，澄清其基本原理，并揭示它们的相互依赖性。

为了解决这一关键问题，本综述提供了首个关于LLMs上下文工程的全面且系统的回顾。我们的主要贡献是提出了一个新颖的、结构化的分类法，分类了用于设计、管理和优化上下文的多种技术。该分类法将该领域组织为连贯的类别，区分了基础组件及其在复杂系统实现中的整合。通过这一框架，我们：(1) 提供了每个领域最新技术的清晰且结构化的概述；(2) 分析了不同方法的核心机制、优点和局限性；(3) 确定了全局性挑战，并为未来研究指明了有前景的方向。此工作既是导航复杂上下文工程领域的技术路线图，也是促进更深入理解和催生未来创新的基础。

本文的其余部分组织如下：在讨论相关工作并正式定义上下文工程之后，我们首先审视该领域的基础组件，涵盖上下文检索与生成、上下文处理和上下文管理。然后，我们探讨其系统实现，包括检索增强生成、记忆系统、工具集成推理和多智能体系统。最后，我们讨论评估方法、未来研究方向，并总结综述。图1提供了我们的分类法的全面概述，展示了技术的层级组织及其在上下文工程领域内的相互关系。

随着大型语言模型（LLMs）从简单的指令跟随系统发展为复杂多面应用的核心推理引擎，与它们互动的方法也必须随之演变。尽管“提示工程”这一术语是基础性的，但它已不足以涵盖设计、管理和优化现代AI系统所需信息负载的全貌。这些系统并非仅依赖单一的静态文本串，它们利用的是动态、结构化且多面的信息流。为了解决这一问题，我们引入并正式定义了“上下文工程”这一学科。

上下文工程建立在三个基础组件之上，这些组件共同应对大型语言模型中信息管理的核心挑战：上下文检索与生成通过提示工程、外部知识检索和动态上下文组装来获取适当的上下文信息；上下文处理通过长序列处理、自我优化机制和结构化数据整合来转化和优化获取的信息；上下文管理通过解决基本约束、实施复杂的记忆层次结构和开发压缩技术，处理上下文信息的高效组织和利用。这些基础组件为所有上下文工程实现奠定了理论和实践基础，形成了一个全面的框架，在这个框架中，每个组件都解决了上下文工程流程中的不同方面，同时保持协同关系，从而实现全面的上下文优化和有效的上下文工程策略。