如果你曾经开发过智能体(Agent),你一定深有体会:“在我的机器上能跑通”与“在生产环境中稳定运行”之间,隔着一道巨大的鸿沟。 传统软件开发的逻辑是:你基本清楚输入是什么,并能定义明确的输出。但智能体则完全不同:用户可能输入任何内容,而智能体可能表现出的行为空间也几乎是无限的。这正是智能体的强大之处——但也是它们为何会以你预料之外的方式“跑偏”的原因。 在过去的三年里,我们见证了数以千计的团队在这一现实面前苦苦挣扎。而那些成功将可靠的智能体推向生产环境的公司——如 Clay、Vanta、LinkedIn 和 Cloudflare——并没有遵循传统的软件开发手册。他们正在开拓一条全新的道路:智能体工程(Agent Engineering)

什么是智能体工程(Agent Engineering)?

智能体工程是将具有随机性(Non-deterministic)的大语言模型(LLM)系统,提炼为可靠生产体验的迭代过程。它是一个循环往复的周期:构建、测试、发布、观察、改进、重复。 这里的关键在于:发布不是终点,而是获取新洞察并持续优化智能体的手段。为了实现有意义的改进,你必须理解生产环境中到底发生了什么。这一循环跑得越快,你的智能体就越可靠。 我们将智能体工程视为一门结合了三种技能集的交叉学科: * 产品思维(Product Thinking):定义范围并塑造智能体行为。

编写驱动行为的提示词(通常长达数百或数千行)。 * 深入理解智能体所模拟的“待办任务(Job to be done)”。 * 定义评估标准,测试智能体是否达到了任务目标。 * 工程开发(Engineering):构建让智能体具备生产力水平的基础设施。

为智能体编写可调用的工具。 * 开发交互 UI/UX(支持流式输出、中断处理等)。 * 创建强韧的运行时,处理持久化执行、人机协作(Human-in-the-loop)暂停和记忆管理。 * 数据科学(Data Science):衡量并随时间提升智能体表现。

构建评估系统(Evals、A/B 测试、监控等)来衡量可靠性。 * 分析使用模式和错误原因(因为智能体面对的用户行为比传统软件更广泛)。

智能体工程体现在哪里?

智能体工程不是一个新的职位头衔,而是一套职责。当现有团队构建具有推理、自适应且行为不可预测的系统时,就需要承担这些职责。 * 软件与 ML 工程师:编写提示词、构建工具、追踪工具调用逻辑并精炼模型。 * 平台工程师:构建支持长时运行和人机协作流的基础设施。 * 产品经理:编写提示词、界定边界,确保智能体在解决正确的问题。 * 数据科学家:衡量可靠性并识别改进点。


为什么是“智能体工程”?为什么是现在?

两个根本性的转变使其成为必然: 1. 能力跨越阈值:LLM 已经强大到可以处理复杂的、多步骤的工作流,而不仅仅是单一任务。例如 Clay 处理自动化获客,LinkedIn 筛选海量人才。智能体正在生产环境中交付真正的商业价值。 1. 能力的代价是不可预测性:智能体与简单的 LLM 应用不同,它们会跨步骤推理、调用工具。这导致:

每个输入都是边界案例(Edge Case):用户可以用自然语言说任何话,没有所谓的“正常输入”。 * 无法用旧方法调试:逻辑隐藏在模型内部,微小的提示词改动可能导致行为剧变。 * “运行正常”不再是二进制的:智能体可能在线率 99.99%,但依然在胡言乱语或偏离目标。


智能体工程实践指南

智能体工程遵循与传统开发不同的原则:发布是为了学习,而不是学习完再发布。

搭建基座:根据需要的“自主性”程度设计架构。 1. 基于想象的情景测试:捕获明显的提示词和工具缺陷。心态要从“穷尽测试再发布”转变为“合理测试,通过发布来学习真正重要的问题”。 1. 通过发布观察真实行为:生产环境的追踪(Trace)会告诉你智能体真正需要处理的是什么。 1. 观察:追踪每一次对话、工具调用和决策背景。利用生产数据运行评估(Evals)。 1. 改进:针对失败模式修改提示词和工具定义。将问题案例加入回归测试集。 1. 重复:发布改进方案,继续观察。


工程新标准

那些已经成功上线可靠智能体的团队都有一个共同点:他们不再试图在发布前追求完美,而是将“生产环境”视为最好的老师。

这意味着:追踪每一次决策,进行大规模评估,并以“天”而不是“季度”为单位发布改进。智能体工程的兴起是因为机遇就在眼前——智能体现在可以处理需要人类判断的工作流,前提是你必须让它足够可靠。没有捷径,只有系统性的迭代。

成为VIP会员查看完整内容
0
微信扫码咨询专知VIP会员