如何构建你的个人智能体？ 清华等最新《个人语言模型智能体》综述，详述其能力、效率和安全性的洞察与综述

自个人计算设备问世以来，智能个人助理（IPAs）已成为研究人员和工程师关注的关键技术之一，旨在帮助用户高效获取信息、执行任务，并为用户提供更智能、便利和丰富的交互体验。随着智能手机和物联网的发展，计算和传感设备已无处不在，极大地扩展了智能个人助理的功能边界。然而，由于缺乏用户意图理解、任务规划、工具使用、个人数据管理等能力，现有的智能个人助理在实用性和可扩展性方面仍然有限。 近年来，以大型语言模型（LLMs）为代表的基础模型的出现为智能个人助理的发展带来了新机遇。凭借强大的语义理解和推理能力，LLM可以使智能体自主解决复杂问题。在这篇论文中，我们重点关注个人LLM智能体，这些基于LLM的智能体深度集成了个人数据和个人设备，用于个人助理。我们设想，个人LLM智能体将成为即将到来的时代的主要软件范式。为了实现这一愿景，我们首先讨论了关于个人LLM智能体的几个重要问题，包括它们的架构、能力、效率和安全性。我们首先总结了个人LLM智能体架构中的关键组件和设计选择，接着深入分析了从领域专家收集的意见。接下来，我们讨论了实现智能、高效和安全的个人LLM智能体的几个关键挑战，以及全面调查了解决这些挑战的代表性解决方案。

https://www.zhuanzhi.ai/paper/f194758bfec3a7bf2f03927270c51daa

科幻小说描绘了许多引人注目的智能个人助理（IPAs）角色，这些软件智能体可以增强个人的能力、完成复杂任务，甚至满足情感需求。这些智能智能体代表了大多数人关于人工智能（AI）的幻想。随着个人设备（如智能手机、智能家居设备、电动汽车等）的广泛应用和机器学习技术的进步，这种幻想逐渐成为现实。今天，许多移动设备内嵌了IPA软件，如Siri [1]、Google Assistant [2]、Alexa [3]等。这些智能智能体与用户紧密相连，能够访问用户数据和传感器，控制各种个人设备，并访问与私人账户关联的个性化服务。 然而，当今的智能个人助理仍然受到灵活性和可扩展性的限制。它们的智能水平远远不够，特别是在理解用户意图、推理和任务执行方面。目前大多数智能个人助理仅限于在限制领域内执行任务（例如，内置应用程序中的简单功能）。一旦用户请求超出这些边界的任务，智能体就无法准确理解和执行动作。改变这种情况需要显著扩展智能体的能力，以支持更广泛和更灵活的任务范围。然而，目前的IPA产品很难大规模支持任务。目前的大多数IPAs需要遵循特定的预定义规则来完成任务，例如开发者定义或用户演示的步骤。因此，开发者或用户必须明确指定他们希望支持的功能，以及定义任务执行的触发器和步骤。这种方法本质上限制了对更广泛任务范围的扩展性，因为支持更多任务需要大量的时间和劳动成本。一些方法尝试通过监督学习或强化学习[4、5、6]自动学习支持任务。然而，这些方法也依赖于大量的手动演示和/或奖励函数的定义。

近年来，大型语言模型（LLMs）[7]的出现为IPAs的发展带来了全新的机遇，展示了解决智能个人助理可扩展性问题的潜力。与传统方法相比，如ChatGPT、Claude等大型语言模型展示了独特的能力，如指令遵循、常识推理和零样本泛化。这些能力是通过在庞大的语料库（超过1.4万亿词）上进行无监督学习并随后通过人类反馈进行微调来实现的。利用这些能力，研究人员已经成功地采用大型语言模型来赋能自主智能体（即LLM智能体），旨在通过自动制定计划和使用工具（如搜索引擎、代码解释器和第三方API）来解决复杂问题。 作为一种独特类型的智能智能体，IPAs也有可能通过LLMs实现显著提高的可扩展性、能力和实用性。我们称这种由LLM驱动的智能个人助理为个人LLM智能体。与普通LLM智能体相比，个人LLM智能体更深入地参与个人数据和移动设备，并更明确地设计为协助人类而不是取代人类。具体来说，协助用户的主要方式是减少他们日常生活中重复、枯燥和低价值的劳动，让用户专注于更有趣和有价值的事情，从而提高他们工作和生活的效率和质量。个人LLM智能体可以建立在现有的软件堆栈（例如，移动应用、网站等）之上，同时带来无处不在的智能自动化能力的新鲜用户体验。因此，我们期望个人LLM智能体在AI时代成为个人计算设备的主要软件范式，如图1所示。

尽管个人LLM智能体的未来充满希望，但相关研究仍处于起步阶段，呈现出许多复杂性和挑战。本文首先讨论了实施个人LLM智能体的路线图、设计选择、主要挑战及可能的解决方案。特别是，我们主要关注个人LLM智能体中与“个人”部分相关的方面，包括分析和利用用户的个人数据、使用个人资源、在个人设备上的部署以及提供个性化服务。将LLM的通用语言能力直接整合到IPA中并不在本文的讨论范围内。 我们首先对个人LLM智能体的领域专家进行了调查。我们邀请了25位主要公司的首席架构师、董事总经理和/或高级工程师/研究员，他们正在研究IPAs和/或个人设备上的LLMs。我们询问了这些专家关于在面向消费者的产品中整合LLMs的机会和挑战的看法。基于我们对专家见解的理解和分析，我们总结了一个简单且通用的个人LLM智能体架构，在该架构中，个人数据（用户上下文、环境状态、活动历史、个性等）和个人资源（移动应用、传感器、智能家居设备等）的智能管理和利用起着至关重要的作用。管理和利用这些个人对象的能力区分了个人LLM智能体的智能。受到自动驾驶的L1-L5智能级别的启发，我们还给出了个人LLM智能体的五个智能级别的分类。 我们的发现还突出了实现这种个人LLM智能体的几个主要技术挑战，这些挑战可以分为基本能力、效率以及安全性和隐私性三个方面。我们进一步深入这些方面，详细解释了挑战，并对可能的解决方案进行了全面调查。具体而言，对于每个技术方面，我们简要说明其与个人LLM智能体的相关性和重要性，然后将其分解为几个主要研究问题。例如，个人LLM智能体的基本能力包括任务执行、上下文感知和记忆。智能体的效率主要由LLM推理效率、定制效率和记忆检索效率决定。个人LLM智能体的安全性和隐私问题可以归类为数据保密性、决策可靠性和系统完整性。对于每个研究问题，我们总结了与该问题相关的主要技术，并简要介绍了相关工作。由于个人LLM智能体技术的范围很广，我们只包括了最相关或最近的工作，而不是试图涵盖所有相关方法。

本文的主要内容和贡献可以总结如下：

1. 我们总结了现有智能个人助理在工业界和学术界的现状，同时分析了它们在LLM时代的主要限制和未来趋势。
2. 我们从LLM和个人智能体领域的高级领域专家那里收集了洞见，提出了一个通用的系统架构和个人LLM智能体智能级别的定义。
3. 我们回顾了个人LLM智能体的三个重要技术方面的文献，包括基本能力、效率和安全性与隐私。

我们将个人LLM智能体定义为一种特殊类型的基于LLM的智能体，它与个人数据、个人设备和个人服务深度集成。个人LLM智能体的主要目的是协助终端用户，帮助他们减少重复和繁琐的工作，更多地专注于有趣和重要的事务。遵循这一定义，通用的自动化方法（提示、计划、自我反思等）与普通基于LLM的智能体相似。我们关注与“个人”部分相关的方面，例如个人数据的管理、智能手机应用的使用、部署到资源受限的个人设备等。

基于我们对个人LLM智能体所需特性的讨论，我们首先总结了支持这些特性的主要组件，如图4所示。 毫无疑问，个人LLM智能体的核心是一个基础模型（大型语言模型或其他变体，为简单起见，我们称之为LLM），它连接了所有其他组件。首先，LLM是支持为用户服务的不同技能的基础，包括直接执行用户请求的响应技能（如问答、天气检查、事件安排等）和在没有明确用户命令的情况下提供服务的主动技能（如生活记录、管理用户注意力、活动推荐等）。

其次，为了支持这些技能，LLM管理着各种本地资源，包括移动应用、传感器和物联网设备。例如，智能体可能通过与智能手机天气应用的互动来完成天气检查。与此同时，许多人提到了个人LLM智能体提供个性化和感知上下文服务的重要性。因此，LLM应该维护有关用户的信息，包括当前用户上下文（状态、活动、位置等）和历史用户记忆（资料、日志、个性等）。为了操纵这些资源、上下文和记忆，还希望使用专用的管理系统，如向量数据库与LLM结合使用。