摘要

马克思曾写道:“人的本质是一切社会关系的总和”(Marx, 1845)。这表明个体并非孤立的实体,而是根本上由其与其他实体的互动所塑造——其中“语境”起着构成性且至关重要的作用。随着计算机与人工智能的发展,这些语境已不再局限于纯粹的人与人互动:也包括人与机器的互动。由此引出一个核心问题:机器如何才能更好地理解我们的处境与目的? 为应对这一挑战,研究者近来提出了“上下文工程(context engineering)”的概念。尽管它常被视为智能体时代的近期创新,但我们认为相关实践事实上可以追溯到二十多年前。自上世纪 1990 年代初以来,它经历了由机器智能水平所塑造的不同历史阶段:从围绕原始计算机构建的早期人机交互(HCI)框架,发展到当今由智能体驱动的人与智能体交互(HAI)范式,并有望在未来迈向具有人类水平甚至超人类智能的阶段。本文讨论了上下文工程的语境背景,给出系统性的定义,勾勒其历史与概念图景,并探讨其实践中的关键设计考量。通过回答这些问题,我们旨在为上下文工程提供概念基础并描绘其可期的未来。本文亦可作为推动更广泛社群在人工智能系统中开展系统化上下文工程工作的基石。

1 引言

近几年,大型语言模型(LLM)与智能体的迅速崛起,使“语境(context)如何影响模型行为”这一问题受到越来越多的关注。研究表明,放入上下文窗口中的内容会显著影响模型性能(Liu et al., 2021)。与此同时,社会对能够进行多步推理、并在长时间跨度上运作的系统需求日益增长(Yao et al., 2023)。这些趋势使一个问题变得核心:在尤其是长时程任务中,我们如何通过有效的上下文机制,使机器更好地理解并落实人类意图? 为应对这一挑战,研究者近来将注意力集中在上下文工程(context engineering)上:即围绕情境信息的设计、组织与管理,使机器能够以符合人类意图的方式行动(Mei et al., 2025)。近年来,上下文工程在 LLM 与智能体中的实现极为丰富,包括提示词工程(prompt engineering)(Liu et al., 2021; Reynolds and McDonell, 2021; Wei et al., 2022)、检索增强生成(RAG)(Lewis et al., 2020; Izacard and Grave, 2022)、工具调用(Yao et al., 2022; Schick et al., 2023),以及长期记忆机制(Wu et al., 2022; Dai et al., 2019)等。这些技术扩展了机器吸收高熵语境的能力,并实质性地影响了交互式系统的设计。 尽管取得了上述进展,这一领域仍常被误解。上下文工程往往被视为近期才出现的发展,而“上下文”也常被狭义地理解为对话历史、系统提示词,或以智能体为中心的环境输入。事实上,“上下文”的定义可以更为宽泛,而上下文工程的实践也已持续了二十多年。普适计算、情境感知系统与人机交互等早期研究,建立了至今仍具意义的基本原理与方法(Reeves, 2012; Baldauf et al., 2007a; Preece et al., 1994)。认识这段历史,对于理解该领域的现状与未来潜力至关重要。 我们主张,应当从更宏阔的历史视角来看待上下文工程的发展,而不是将其局限于近年来的具体技术实践。通过追溯其过去二十余年的演进,我们能更深入地把握其底层原理,并认识到不同的“处理上下文”的路径如何塑造了智能系统的进步。这一视角有助于 AI 研究在历史脉络上持续构建,形成坚实且面向未来的基础。 从这一更广阔的视角看,上下文工程可以被视为一个熵减(entropy reduction)过程。与人类不同,机器在交流中并不能有效地“自动补全”信息。当人类彼此交流时,会依赖听者主动降低信息熵——凭借共享知识、情感线索与情境觉知,去推断缺失的语境(Kapteijns and Hintz, 2021)。至少以目前而言,机器缺乏这种能力。因此,我们必须为机器对语境进行“预处理”,把原始信息压缩为其可理解的形式。这正是上下文工程中的核心“努力”:即将高熵的语境与意图转化为机器能够理解的低熵表征所需要投入的工作。 如图 2 所示,上下文工程始终承担着弥合人类(碳基)与机器(硅基)智能之间认知鸿沟的职责。碳基智能演进相对缓慢,而硅基智能迭代速度更快。因此,范式转变背后的关键驱动力在于机器智能的快速提升。机器越聪明,上下文工程就越自然,人机交互的成本也就越低。 机器智能的每一次质变,都会引发人机接口的根本性革命。正如图 3 所示,技术性突破会带来语境吸收能力的跃升,进而推动接口的革命,最终导致上下文工程范式的更替。这些变化并非循序渐进的改良,而是一系列从根本上重塑人机沟通方式的范式变迁。基于这一反复出现的模式,我们可以把上下文工程的演化概念化为四个阶段的推进:上下文工程 1.0——面向结构化、低熵输入的原始计算(Dey, 2001a);2.0——能够解释自然语言并处理歧义的智能体(Jennings et al., 1998);3.0——具有人类水平智能,实现细腻沟通与无缝协作(Morris et al., 2023);以及4.0——具有超人类智能,机器能够主动构建语境并揭示人类尚未明确表达的需求。每一阶段都包含质的设计取舍,并凸显人与机器角色的变化。 本文的核心贡献如下。首先,我们将上下文工程置于更广泛的历史视野之中,追溯其在现代智能体出现之前的起源。其次,我们给出一个系统且广义的理论框架:包括从熵减视角对上下文工程本质的阐释,以及反映其技术进展的四阶段演化模型。最后,我们通过对典型实践的比较,提出一般性的设计考量,为未来智能系统的发展提供指导。 在接下来的篇幅中,我们将首先给出上下文工程的定义,并概述支撑我们分析的理论框架。随后,我们追溯该领域的历史演进,重点关注 1.0 与 2.0 时代的独特特征。在此基础上,我们围绕三个核心维度——上下文采集、上下文管理与上下文使用——讨论设计考量;分析当前实践,识别关键挑战,并探索可能塑造未来进展的新兴路径。

成为VIP会员查看完整内容
22

相关内容

大型语言模型(LLM)赋能的知识图谱构建:综述
专知会员服务
43+阅读 · 10月24日
三维与四维世界建模综述
专知会员服务
28+阅读 · 9月12日
用于多模态大模型的离散标记化:全面综述
专知会员服务
18+阅读 · 8月2日
大语言模型中幻觉问题的综合综述
专知会员服务
22+阅读 · 7月8日
模拟真实世界:多模态生成模型的统一综述
专知会员服务
32+阅读 · 3月7日
大规模语言模型增强推荐系统:分类、趋势、应用与未来
专知会员服务
39+阅读 · 2024年12月22日
大型语言模型中的人格综述
专知会员服务
42+阅读 · 2024年6月30日
如何使用自然语言工具包(NLTK)在Python3中执行情感分析
Python程序员
21+阅读 · 2019年10月28日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
强化学习与文本生成
微信AI
41+阅读 · 2019年4月4日
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
A Survey of Large Language Models
Arxiv
491+阅读 · 2023年3月31日
Arxiv
81+阅读 · 2023年3月26日
Arxiv
69+阅读 · 2022年9月7日
Arxiv
16+阅读 · 2022年5月17日
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
Augmentation for small object detection
Arxiv
13+阅读 · 2019年2月19日
VIP会员
相关主题
相关VIP内容
大型语言模型(LLM)赋能的知识图谱构建:综述
专知会员服务
43+阅读 · 10月24日
三维与四维世界建模综述
专知会员服务
28+阅读 · 9月12日
用于多模态大模型的离散标记化:全面综述
专知会员服务
18+阅读 · 8月2日
大语言模型中幻觉问题的综合综述
专知会员服务
22+阅读 · 7月8日
模拟真实世界:多模态生成模型的统一综述
专知会员服务
32+阅读 · 3月7日
大规模语言模型增强推荐系统:分类、趋势、应用与未来
专知会员服务
39+阅读 · 2024年12月22日
大型语言模型中的人格综述
专知会员服务
42+阅读 · 2024年6月30日
相关资讯
如何使用自然语言工具包(NLTK)在Python3中执行情感分析
Python程序员
21+阅读 · 2019年10月28日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
强化学习与文本生成
微信AI
41+阅读 · 2019年4月4日
相关基金
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
相关论文
A Survey of Large Language Models
Arxiv
491+阅读 · 2023年3月31日
Arxiv
81+阅读 · 2023年3月26日
Arxiv
69+阅读 · 2022年9月7日
Arxiv
16+阅读 · 2022年5月17日
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
Augmentation for small object detection
Arxiv
13+阅读 · 2019年2月19日
微信扫码咨询专知VIP会员