基于大型语言模型的多智能体：进展与挑战综述

大型语言模型（LLMs）在广泛的任务中取得了显著的成功。由于LLMs令人印象深刻的规划和推理能力，它们被用作自动执行许多任务的自主智能体。最近，基于将一个LLM作为单一规划或决策智能体的发展，基于LLM的多智能体系统在复杂问题解决和世界模拟方面取得了相当的进展。为了向社区提供这一动态领域的概览，我们呈现这篇综述，以提供关于基于LLM的多智能体系统的基本方面及挑战的深入讨论。我们的目标是让读者对以下问题获得实质性的见解：基于LLM的多智能体模拟哪些领域和环境？这些智能体如何被描述，它们如何通信？什么机制有助于智能体能力的增长？对于那些有兴趣深入研究这一领域的人，我们还总结了常用的数据集或基准，以便他们方便地访问。为了让研究人员了解最新的研究，我们维护一个开源的GitHub仓库，致力于概述基于LLM的多智能体系统的研究。

1 引言

最近，大型语言模型（LLMs）展现出了达到与人类相当的推理和规划能力的显著潜力。这种能力完全符合人类对能够感知周围环境、做出决策并作出响应的自主智能体的期待[Xi等，2023；Wooldridge和Jennings，1995；Russell和Norvig，2009；Guo等，2023；Liang等，2023]。因此，基于LLM的智能体已被研究和快速发展，以理解和生成类似人类的指令，促进在广泛的上下文中进行复杂的互动和决策[Yao等，2023；Shinn等，2023；Li等，2023d]。及时的综述文章系统地总结了基于LLM的智能体的进展，如在文献[Xi等，2023；Wang等，2023b]中所见。

基于单个LLM智能体的启发性能力，已提出基于LLM的多智能体，以利用多个智能体的集体智能和专业化轮廓及技能。与使用单一LLM驱动的智能体的系统相比，多智能体系统通过1) 将LLMs专业化为具有不同能力的各种不同智能体，以及2) 使这些多样化的智能体之间进行互动，有效地模拟复杂的现实世界环境，提供了先进的能力。在这一背景下，多个自主智能体协作参与规划、讨论和决策，反映了人类团队工作在解决问题任务中的合作本质。这种方法利用了LLMs的沟通能力，借助它们生成文本进行交流和对文本输入的响应能力。此外，它利用了LLMs在各个领域的广泛知识和专门化特定任务的潜力。最近的研究已经展示了使用基于LLM的多智能体解决各种任务的有希望的结果，如软件开发[Hong等，2023; Qian等，2023]、多机器人系统[Mandi等，2023; Zhang等，2023c]、社会模拟[Park等，2023; Park等，2022]、政策模拟[Xiao等，2023; Hua等，2023]以及游戏模拟[Xu等，2023c; Wang等，2023c]。由于这个领域的跨学科研究性质，它吸引了来自社会科学、心理学和政策研究等不同背景的研究者，研究论文的数量正在迅速增加，如图1所示（受[Gao等，2023b]设计的启发），从而扩大了基于LLM的多智能体研究的影响。尽管如此，早期的工作是独立进行的，导致缺乏系统回顾以总结它们，建立这个领域的全面蓝图，并检查未来的研究挑战。这强调了我们工作的重要性，并作为呈现这篇综述论文的动机，致力于基于LLM的多智能体系统的研究。

我们期望我们的综述能对LLMs的研究和开发以及利用LLMs进行的更广泛的跨学科研究做出重大贡献。读者将获得关于基于LLM的多智能体（LLM-MA）系统的全面概览，把握基于LLMs建立多智能体系统所涉及的基本概念，并捕捉到这一动态领域中最新的研究趋势和应用。我们认识到这个领域正处于初级阶段，并且随着新方法和应用的迅速发展。为了提供一种持续的资源来补充我们的综述论文，我们维护了一个开源的GitHub仓库。我们希望我们的综述能激发进一步的探索和创新，以及在广泛的研究领域中的应用。

为了帮助来自不同背景的个人理解LLM-MA技术，并补充现有的综述通过解决未解决的问题，我们以以下方式组织了我们的综述论文。在第2节中阐述背景知识后，我们提出了一个关键问题：LLM-MA系统如何与协作任务解决环境对齐？为了回答这个问题，我们在第3节提出了一个全面的框架，用于定位、区分和连接LLM-MA系统的各个方面。我们通过讨论： 1）智能体-环境界面，详细说明智能体如何与任务环境互动； 2）智能体轮廓，解释一个智能体如何被LLM描述以以特定方式行为； 3）智能体通信，考察智能体如何交换信息和协作；以及 4）智能体能力获取，探索智能体如何发展其解决问题的能力。

关于LLM-MA研究的另一个视角是它们的应用。在第4节，我们将当前应用分为两个主要流：用于问题解决的多智能体和用于世界模拟的多智能体。为了指导个人识别合适的工具和资源，我们在第5节提出了用于研究LLM-MA的开源实现框架，以及可用的数据集和基准。基于前面的总结，我们在第6节开放了对未来研究挑战和机会的讨论。结论在第7节中总结。

解析LLM-MA系统：界面、轮廓、通信和能力

在本节中，我们深入探讨LLM-MA系统的复杂性，其中多个自主智能体参与类似于人类群体动力学的协作活动，应对问题解决场景。我们要解决的一个关键问题是，这些LLM-MA系统如何与它们的操作环境以及它们旨在实现的集体目标对齐。为了阐明这一点，我们在图2中展示了这些系统的通用架构。我们的分析解剖了这些系统的操作框架，重点关注四个关键方面：智能体-环境界面、智能体轮廓、智能体通信和智能体能力获取。

应用

LLM-MA系统已在广泛的应用中被使用。我们在表1中总结了两类应用：问题解决和世界模拟。我们将在下面详细阐述这些应用。请注意，这是一个快速发展的研究领域，几乎每天都有新应用出现。我们维护一个开源仓库来报告最新的工作。

使用LLM-MA进行问题解决的主要动机是利用具有专门专业知识的智能体的集体能力。这些智能体，每个都作为个体行动，协作以有效地解决复杂问题，例如软件开发、具体化智能体、科学实验和科学辩论。 LLM-MA的另一个主流应用场景是世界模拟。这一领域的研究正在迅速增长，涵盖了包括社会科学、游戏、心理学、经济学、政策制定等在内的多种领域。在世界模拟中使用LLM-MA的关键原因在于它们出色的角色扮演能力，这对于现实地描绘模拟世界中的各种角色和观点至关重要。世界模拟项目的环境通常被设计来反映被模拟的特定场景，智能体以各种轮廓设计以匹配这一背景。与专注于智能体合作的问题解决系统不同，世界模拟系统涉及多种智能体管理和通信方法，反映了现实世界交互的复杂性和多样性。

结论

基于LLM的多智能体展现了激励人心的集体智能，并迅速在研究者中获得了越来越多的兴趣。在这篇综述中，我们首先系统回顾了LLM-MA系统的发展，通过从不同方面定位、区分和连接它们，涉及智能体-环境界面、LLMs对智能体的描述、管理智能体通信的策略以及能力获取的范式。我们还总结了LLM-MA在问题解决和世界模拟中的应用。通过突出常用的数据集和基准，并讨论挑战和未来机会，我们希望这篇综述能成为各个研究领域的研究者们的有用资源，激发未来的研究去探索基于LLM的多智能体的潜力。