博弈论与大语言模型的结合：系统性综述

博弈论为分析理性决策者之间的战略互动建立了一个基本框架。大语言模型（LLMs）的快速发展激发了大量研究，探索这两个领域的交集。具体来说，博弈论方法正被应用于评估和增强大语言模型的能力，同时大语言模型本身也在重塑经典的博弈模型。本文提供了这两个领域交集的全面综述，从三个方面探讨了其双向关系：(1) 建立基于博弈的标准化基准来评估大语言模型的行为；(2) 利用博弈论方法通过算法创新提升大语言模型的性能；(3) 通过博弈建模刻画大语言模型对社会的影响。在这三个方面中，我们还重点强调了大语言模型的先进语言理解如何影响传统博弈模型的均衡分析，进而扩展了博弈论的研究。最后，本文识别了当前领域中的主要挑战和未来的研究方向，并根据现有研究的状态评估其可行性。通过将理论严谨性与新兴的人工智能能力结合，本文旨在促进跨学科的合作，并推动这一不断发展的研究领域的进展。

1 引言

博弈论为分析理性主体之间的战略互动提供了一个数学框架，自从其奠基性著作[Von Neumann and Morgenstern, 2007]以来，博弈论经历了显著的发展。几十年来，它已经建立了强大的方法论基础，包括均衡分析[Nash Jr, 1950]和机制设计[Vickrey, 1961]，这些方法已成为经济学和计算机科学等学科中不可或缺的分析工具。 随着大语言模型（LLMs）的快速发展，研究人员越来越多地探索博弈论与大语言模型之间的交集。越来越多的研究调查了博弈论原理如何用于评估和提升大语言模型的能力，以及大语言模型如何对博弈论做出贡献。具体来说，现有的研究应用博弈论来开发理论框架，以评估大语言模型的战略推理能力，优化其训练方法并分析其社会影响。关键的研究方向包括：

• 标准化基于博弈的评估：研究人员正在构建基准环境，如矩阵博弈[Akata et al., 2023]和拍卖[Chen et al., 2023]，以系统地评估大语言模型的战略推理能力。
• 博弈论算法创新：来自合作博弈和非合作博弈论的概念，如Shapley值[Enouen et al., 2024]和最大-最小均衡[Munos et al., 2024]，启发了新的模型可解释性和训练优化方法。
• 社会影响建模：随着大语言模型改变信息生态系统，新的理论框架正在涌现，以预测人类与AI互动的社会后果[Yao et al., 2024]，特别是在广告市场[Duetting et al., 2024]和内容创作[Fish et al., 2024a]等领域。

除了这些应用，最新的研究还表明，大语言模型也可以通过促进复杂文本场景中的均衡分析，以及将经典博弈模型扩展到更现实的设置，贡献于博弈论。 现有的综述[Zhang et al., 2024b; Feng et al., 2024; Hu et al., 2024]主要探讨博弈论如何用于构建评估环境以及评估大语言模型的战略表现。例如，[Zhang et al., 2024b]根据用于测试大语言模型能力的博弈场景将研究进行了分类，并讨论了改进推理能力的方法。与此同时，[Feng et al., 2024]和[Hu et al., 2024]将大语言模型在博弈中所需的核心能力（如感知、记忆、角色扮演和推理）进行了分类。尽管这些综述提供了有价值的见解，但它们主要聚焦于博弈论在标准化评估框架中的作用，忽略了它在推动大语言模型发展的更广泛潜力。此外，它们采用了单向视角，将博弈论视为评估大语言模型的工具，而没有探讨这两个领域之间的相互影响。 本文旨在弥补这一空白，探讨博弈论与大语言模型之间的双向关系。我们将博弈论与大语言模型交集的研究划分为三个关键视角，如图1所示。根据我们所知，这是首次对这两个领域之间的双向关系进行全面分析。 在第2节中，我们回顾了应用博弈模型评估大语言模型决策能力的研究。通过在经典矩阵博弈和复杂战略场景中进行的实验，揭示了大语言模型作为博弈者的优势和局限性。除了行为评估外，我们还确定了提升大语言模型战略决策的关键策略，如递归推理框架和将大语言模型与辅助模块结合的方式。此外，大语言模型展示了将现实世界场景形式化为结构化博弈模型的能力，进而将博弈论分析扩展到更广泛和复杂的背景中。 第3节探讨了博弈论原理如何应对大语言模型开发中的关键挑战。我们将现有的研究分为两个主要领域：(1) 使用博弈论理解大语言模型的文本生成和训练动态；(2) 利用博弈论机制提升大语言模型训练算法。第一个领域探讨了Shapley值如何提高模型的可解释性，以及社会选择理论如何促进人类与AI互动中的偏好对齐。第二个领域介绍了将博弈论目标纳入研究，以解决人类偏好的异质性和复杂性等挑战。目标包括在多智能体互动中最小化遗憾以及评价指标，如纳什均衡收敛性。 第4节讨论了博弈论如何用于预测和刻画大语言模型的社会影响。人类-人工智能互动博弈模型预测了人类与AI之间竞争的影响。新兴的博弈模型突出了大语言模型作为产品或平台的商业和经济影响。同时，经典的博弈论模型也在大语言模型独特能力的背景下进行了推广，例如自然语言处理。 最后，我们识别了跨这些维度的主要研究挑战和未来方向。通过系统地分析博弈论与大语言模型的交集，我们突出了它们之间的相互影响，以及它们如何推动两个领域的进展，为这一跨学科领域的发展做出贡献。

2 博弈论在大语言模型评估中的应用

在本节中，我们探讨大语言模型（LLMs）在博弈论框架下的应用，重点评估它们作为博弈参与者的表现。行为评估表明，大语言模型在经典矩阵博弈中面临着识别最优行动的挑战，但在更复杂的博弈场景中，它们能展示出类人策略。多个研究已探讨了提升大语言模型作为博弈玩家表现的方法，其中两个关键点是递归思维和辅助模块。最后，我们还讨论了大语言模型在博弈中的角色，超越其作为玩家的功能。

**2.1 大语言模型行为表现的评估

大语言模型在矩阵博弈中的困难。矩阵博弈是博弈论中的一个基础概念。在矩阵博弈中，两名玩家同时做出决策，结果可以通过一个有限的收益矩阵表示。最近的研究探讨了大语言模型如何通过将这些博弈转化为自然语言提示来应对这些博弈。尽管取得了显著进展，研究结果显示，大语言模型（如GPT-4）在2 × 2矩阵博弈中难以始终如一地选择最优策略[Akata et al., 2023; Herr et al., 2024; Loré and Heydari, 2024; Wang et al., 2024]。 例如，[Akata et al., 2023]指出，大语言模型在协调博弈中，如性别之战，经常未能选择最优行动。类似地，[Loré and Heydari, 2024]研究了语境框架和效用矩阵如何影响大语言模型的决策，揭示了显著的偏差。此外，[Herr et al., 2024]探讨了游戏描述、玩家定位和收益对大语言模型表现的影响，突出了持续的行为偏差。在更动态的环境中，[Fan et al., 2024]观察到，大语言模型在环形网络博弈中难以预测最优策略。此外，用于评估大语言模型在144种不同2 × 2矩阵博弈中的表现的TMGBench基准进一步确认了这些局限性[Wang et al., 2024]。 矩阵博弈是博弈论的基石，也是更复杂战略问题的基础。研究大语言模型在这些博弈中的行为为我们提供了对它们在复杂推理任务中的局限性的宝贵洞见。 大语言模型在现实博弈场景中的类人策略。除了经典的矩阵博弈，许多研究分析了大语言模型在更现实的博弈环境中的表现。尽管这些博弈具有更大的语境复杂性，但对大语言模型来说，它们不一定更具挑战性。这是因为基于文本内容的战略推理有时可以替代显式的计算。 研究表明，大语言模型能够在基于交流的博弈中表现出战略行为。在欺骗与谈判博弈中，包括狼人杀[ Xu et al., 2023; Du and Zhang, 2024]和阿瓦隆[ Wang et al., 2023; Lan et al., 2024]，大语言模型表现出欺骗、建立信任和领导力等行为——这些特质通常与人类的战略思维相关。这些发现表明，大语言模型能够在博弈中充当复杂的交流代理。 大语言模型在经济学重要的博弈场景中也展示了战略推理，如讨价还价和定价博弈。例如，[Deng et al., 2024]发现大语言模型具有先进的谈判技巧，[Fish et al., 2024b]表明基于大语言模型的定价代理可以自主进行价格串通，设置高于竞争水平的价格。在拍卖环境中，[Guo et al., 2024]发现大语言模型能够根据历史数据制定理性竞标策略，通常趋向于纳什均衡。类似地，[Chen et al., 2023]介绍了AucArena平台，展示了大语言模型如何有效管理预算并优化拍卖策略。 游戏表现的综合基准。这些发现表明，递归推理可以显著提升大语言模型的战略能力。

**2.2 提升大语言模型的博弈表现

在评估大语言模型在各种博弈中的表现的基础上，许多研究探讨了提升它们战略推理和决策能力的方法。这些研究解决了大语言模型在博弈过程中面临的关键挑战，并提出了改善其能力的通用框架。以下，我们概述了两种重要的方法。 递归思维。在需要长期或多层次推理的博弈中，大语言模型常常难以保留和利用之前的信息，导致次优决策。为了缓解这一问题，研究人员开发了鼓励大语言模型进行递归思维的技术，使它们在制定战略时能更好地利用过去的信息。 例如，[Wang et al., 2023]提出了递归思考（ReCon）框架，该框架在阿瓦隆游戏中鼓励大语言模型进行一阶和二阶视角推理。这有助于它们避免常见的陷阱，如欺骗。类似地，[Duan et al., 2024a]提出了一种方法，让大语言模型预测多回合博弈中的未来行动，从而提高它们预测对手策略的能力。此外，[Zhang et al., 2024a]通过k级理性推动大语言模型的推理，这增强了其多层次思维，并显著提高了其在竞争环境中的胜率。 辅助模块。作为语言模型，大语言模型通常在需要复杂数学计算或历史数据检索的博弈中表现不佳。一些研究提出了集成辅助模块，帮助大语言模型在博弈过程中克服这些局限。 例如，[Gandhi et al., 2023]提出了一个“提示编译器”，该编译器系统性地指导大语言模型评估行动并形成信念，使它们能够通过最小的上下文学习在新场景中进行推广。在狼人杀游戏中，[Xu et al., 2023]将额外的BERT模型集成进来，用于编码历史和当前的游戏状态，帮助大语言模型做出更有信息支持的决策。在讨价还价博弈中，OG-Narrator框架[Xia et al., 2024]生成外部报价，允许大语言模型专注于谈判语言。最近，[Hua et al., 2024]开发了一种结构化工作流程，帮助大语言模型解决博弈论问题，包括计算纳什均衡和在复杂谈判任务中优化策略。 这些辅助模块显著提升了大语言模型在各种博弈环境中的表现，证明了集成额外计算工具能够增强它们的战略决策能力。

**2.3 超越博弈参与者的角色

尽管大部分讨论集中在利用基于博弈的场景评估大语言模型，但研究也表明，大语言模型在博弈中的能力反过来可以贡献于博弈论。本节探讨了大语言模型在博弈论框架中的替代角色，扩展了它们的应用。 在2.1节中，我们提到大语言模型在经典矩阵博弈中常常难以计算最优策略。然而，一些研究采取了替代方法，利用大语言模型的自然语言理解能力，而不是直接计算均衡。例如，[Mensfelt et al., 2024]利用大语言模型将博弈描述形式化为博弈描述语言（GDL），使外部求解器能够处理这些描述。类似地，[Deng et al., 2025]提出了一个两阶段框架，用于翻译广义形式的博弈：首先，大语言模型识别信息集，然后它通过上下文学习构建完整的博弈树。这些研究表明，大语言模型可以充当自然语言到正式博弈结构的转换中介，提供了超越传统模型的能力。 此外，[Horton, 2023]探讨了将大语言模型用作行为经济学实验中的人类参与者替代品。研究结果表明，大语言模型能够复制经典的行为经济学结果，为社会科学研究提供了一种可扩展、成本效益高的替代方案。这突显了大语言模型在实验经济学和社会科学研究中的潜力，能够促进大规模模拟并深入洞察人类决策过程。

3. 博弈论在算法创新中的应用

本节探讨博弈论原理如何通过指导算法创新来推动大语言模型（LLMs）的发展。博弈论在增强我们对LLMs的理解方面发挥了重要作用，主要通过使用Shapley值和社会选择模型等工具。这些方法为模型的可解释性提供了宝贵的见解，使我们能够更深入地理解LLMs如何处理和响应输入。除了可解释性，博弈论还为开发训练目标和评估指标提供了框架，以应对LLM开发中的关键挑战，例如模型异构性和与人类偏好的一致性。

**3.1 博弈论用于LLMs的现象学理解

这一研究方向将经典博弈论概念应用于解释LLMs中的可观察现象，包括文本生成模式和特定框架下训练的固有局限性。鉴于LLMs通常因其专有性质和大规模复杂性而被视为“黑箱”，此类研究尤为重要。一种方法将合作博弈论与LLMs联系起来，因为这些模型对输入标记执行并行计算，并围绕Transformer层构建。Shapley值（Shapley, 1953）是一种用于评估合作博弈中个体玩家贡献的方法，已被用于评估特定标记和层对LLM生成输出的影响。多项研究利用Shapley值评估提示中标记的重要性（Goldshmidt和Horovicz, 2024；Mohammadi, 2024）。例如，Mohammadi（2024）证明，LLMs通常为信息量较少的输入组件分配过高的权重，这种行为与错误响应密切相关。TokenSHAP（Goldshmidt和Horovicz, 2024）通过蒙特卡洛采样提高了Shapley值计算的效率，而TextGenSHAP（Enouen等, 2024）将该方法扩展到更长的结构化输入-输出场景。Liu等（2023）将Shapley值应用于多提示学习，识别出对集成生成最具影响力的提示。Zhang等（2024c）分析了LLM层的贡献，发现早期层对输出生成的影响更为显著。另一个研究方向使用社会选择理论来建模LLMs与多样化人类偏好的一致性。该框架有助于解决LLMs与人类价值观和决策过程对齐的挑战（Mishra, 2023）。例如，Conitzer等（2024）分析了基于人类反馈的强化学习（RLHF）在表达人类偏好中的作用，识别出由偏好冲突引起的基本问题，并倡导在社会选择原则下进行LLM对齐。Ge等（2024）将RLHF奖励建模视为社会选择过程，证明基于Bradley-Terry的方法存在违反关键公理的内在局限性。Qiu（2024）提出了一个代表性社会选择框架，通过提取一小部分代表性意见来有效管理大规模偏好聚合。此外，一些研究应用博弈论来建模对齐和解码策略。Zhang等（2024e）研究了现实世界LLM应用的社会技术影响，倡导通过激励兼容性确保AI系统与社会目标一致并保持技术稳健性。Chen等（2025）将LLM解码过程建模为Stackelberg博弈，其中解码器先行动，对抗实体随后行动。通过分析双方的最优策略，他们的研究为启发式采样策略在实践中表现良好提供了理论依据。

**3.2 博弈论用于激发LLM算法

除了增强对LLMs的理解，博弈论在设计提升其能力的算法中也发挥了关键作用。本节重点介绍了LLM训练中的几个关键挑战，并说明博弈论如何应用于解决这些问题。通用人类偏好：标准的基于奖励的RLHF仅限于捕捉传递性偏好（Munos等, 2024）。然而，偏好模型可以通过比较两种策略来表达更一般的偏好，而不是为每个响应分配奖励。这为基于偏好模型优化LLM引入了新的挑战。基于人类反馈的纳什学习（NLHF）旨在优化由偏好模型定义的博弈的冯·诺依曼赢家，为策略优化提供了一个可行且稳健的方向。基于NLHF，SPO（Swamy等, 2024）引入了表达更复杂偏好的方法，例如非传递性、随机性和非马尔可夫偏好。SPPO（Wu等, 2025）设计了一种算法，能够在大规模语言模型中高效实现类似SPO的算法。DNO（Rosset等, 2024）通过基于回归的目标改进了LLM优化，实现了更高效和直接的训练。INPO（Zhang等, 2024d）引入了一种可以直接在偏好数据集上最小化的损失函数，进一步减少了NLHF中计算胜率的时间开销。然而，Zhi-Xuan等（2024）的最新研究指出，基于偏好的方法过于简化了人类价值观，忽略了其复杂性、不可公度性和动态性。因此，设计更稳健的方法来对齐人类偏好仍然是一个持续的科学挑战。人类偏好的异质性：捕捉人类注释数据集中的异质性仍然是LLM对齐中的一个重大挑战。忽略这种异质性通常会导致模型仅反映多数人的偏好（Fleisig等, 2023）。多项研究使用社会选择理论开发了更具包容性的训练和对齐算法（Chakraborty等, 2024b；Park等, 2024；Alamdari等, 2024；Chen等, 2024a）。Chakraborty等（2024b）证明了使用单一奖励模型的不切实际性，并提出了平等主义原则来学习偏好分布。Park等（2024）建议对偏好进行聚类，并提出了一种可扩展的、激励兼容的偏好对齐框架。Alamdari等（2024）使用Borda计数和分位数公平性进行偏好聚合，确保公平性和计算可行性。Chen等（2024a）引入了一种混合建模框架来聚合异质偏好。此外，Klingefjord等（2024）从宏观角度审视了人类偏好与训练目标之间的差距，从哲学角度提供了解决方案。数据成本效率：博弈论还被应用于提高LLM训练的成本效率。收集具有保证质量和覆盖范围的数据集通常具有挑战性，因此一些研究使用自我博弈框架来提高数据利用率，减少所需数据量同时保持性能。Chen等（2024b）解决了仅用少量黄金标准数据微调模型的问题。借鉴生成对抗网络（GANs）（Goodfellow等, 2020），它允许LLM在区分其响应与黄金标准答案的同时提高答案质量，最终收敛到黄金标准数据的分布。Cheng等（2024a；Zheng等, 2024）将攻击者和防御者之间的博弈建模为两个LLM之间的博弈。Zheng等（2024）使用攻击者提出防御者不擅长的提示，而防御者不断改进。Cheng等（2024a）考虑了一种经典游戏——对抗禁忌，以在不引入新数据的情况下增强模型知识获取，从而在实验中表现更好。此外，Zhang和Duan（2024）通过将拍卖模型纳入LLM微调过程，提高了偏好数据收集的效率，证明了这种方法可以在保持强性能的同时提高微调效率。其他双人博弈模型：除了上述文献，一些研究在LLM的特定阶段制定了其他双人博弈模型，以增强特定能力。Chakraborty等（2024a；Makar-Limanov等, 2024；Cheng等, 2024b）将奖励模型与LLM之间的交互建模为双人博弈。他们的目标是解决静态奖励模型无法处理LLM策略分布变化的问题。他们的博弈论建模捕捉了奖励模型和LLM的共同演化，并使用均衡求解算法提供了理论上有保证的LLM训练方法。Jacob等（2023）观察到，同一LLM对问题的生成性和判别性答案通常不一致。他们建模了共识博弈，其中这两种类型的答案作为寻求共识答案的玩家。通过使用均衡求解算法，这种方法显著提高了LLM在各种数据集上的准确性。此外，Gemp等（2024）将LLM生成长文本对话的过程建模为顺序博弈，使用博弈论工具增强模型理解对话并生成适当响应的能力。

4 博弈论在LLM相关建模中的应用

本节概述了涉及大语言模型（LLMs）的博弈论模型研究。这些模型的理论分析为LLMs对人类社会的影 响提供了证据。我们将文献分为三个主要领域。第一个领域探讨了同时包含LLMs和人类的博弈论模型，旨在解释或预测LLMs发展带来的现象。第二个领域研究了LLMs作为产品或平台的场景，这创造了具有博弈论动态的竞争环境，例如广告拍卖。第三个领域扩展了经典博弈论模型，探讨了LLMs的独特能力如何推广和完善这些模型，以应对更复杂和现实的场景。

**4.1 LLM与人类之间的竞争

这一系列研究引入了多种竞争模型，将LLMs视为博弈中的玩家（Yao等, 2024；Esmaeili等, 2024；Taitler和Ben-Porat, 2024）。这些模型通常源于一个认识：现代LLMs具有强大的内容生成能力，与人类创作者相比，其成本更低且进化速度更快。Yao等（2024）通过提出基于Tullock竞赛的竞争模型，研究了LLMs对人类创作者的影响。该模型探讨了人类生成内容与LLM生成内容之间的动态关系，将LLMs建模为成本为零的玩家，其输出质量随着人类内容质量的提高而提升。通过均衡分析，研究得出结论：LLMs并不会从根本上与人类创作者冲突或取代他们，而是会减少人类生成内容的数量，最终淘汰效率较低的创作者。Esmaeili等（2024）将该模型扩展到重复博弈环境中，重点关注人类如何在动态竞争中优化其效用。研究强调了确定最优策略的计算复杂性，并提出了提供接近最优解的实用算法。Taitler和Ben-Porat（2024）研究了基于LLM的生成式AI与人类运营平台（如Stack Overflow）之间的竞争动态及其对社会福利的影响。该模型研究了LLMs的收入最大化问题，并揭示了类似于Braess悖论的现象：随着人类用户越来越依赖LLMs，原始平台因缺乏质量提升数据而受损。此外，生成式AI模型很少进行旨在提高质量的训练，因为成本节约的激励措施占主导地位。研究还提出了解决这些问题的理论监管框架。LLMs的发展带来了多样化的社会效应，博弈论为研究这些效应提供了强大的理论框架。通过采用描述最优行为和均衡策略的适当模型，我们可以推导出具有理论保证的性质。

**4.2 伴随LLMs出现的博弈场景

本节探讨了由LLMs作为产品或平台引发的博弈论场景。在这些场景中，LLMs并不参与博弈，而是围绕它们展开。随着LLMs获得全球关注，与LLMs相关的行业正在创造巨大的商业价值。Laufer等（2024）探讨了将通用模型微调作为市场服务的可行性。该研究建模了通用模型开发者与领域专家之间的谈判过程。通过分析子博弈完美均衡，论文证明了利润共享结果是可能的，并提供了确定帕累托最优均衡的方法。Sun等（2024a）研究了通过拍卖式过程为多个具有不同偏好的群体提供LLM微调服务的潜在经济场景。研究提出了一种激励兼容的支付方案，确保社会福利最大化。Mahmood（2024）分析了LLM部署的竞争动态，强调了市场信息的价值，并证明当任务足够相似时，先发制人策略可能对所有任务都不具成本效益。Saig等（2024）提出了一种按偏好支付的合同设计模型，以解决当前按标记定价方案中潜在的道德风险。除了作为商品，LLMs还通过广告收入提供潜在的商业价值，类似于搜索引擎。LLMs的出现使传统的固定广告位过时，促使多项研究探讨将LLMs整合到广告拍卖中（Feizi等, 2023）。Duetting等（2024）建模了一种场景，其中每个广告商拥有一个代理LLM，并通过竞价影响下一个生成标记的概率分布。研究通过修改第二价格拍卖机制，确保激励兼容性。Dubey等（2024）假设每个广告商提供固定的广告副本，通过竞价影响LLM生成的摘要。他们的拍卖机制确定了每个广告商在摘要中的突出程度及其支付价格，确保激励兼容性。Hajiaghayi等（2024）也假设每个广告商拥有代表其内容的文档，但在**检索增强生成（RAG）**框架中建模广告插入过程。该机制在LLM生成内容的每个话语段中概率性地检索和分配广告，基于竞价和相关性优化对数社会福利。Soumalias等（2024）研究了一种场景，其中每个广告商通过奖励函数对LLM生成内容进行竞价。他们的机制激励广告商真实报告奖励函数，并在无需调优的环境中展示了操作可行性。

**4.3 LLM扩展经典博弈模型

除了上述两个领域，本节还探讨了利用LLMs增强传统博弈论模型的研究，将其扩展到更现实的场景。LLMs的文本理解和生成能力使其成为聚合和激发意见的宝贵工具。Lu等（2024）探讨了使用LLMs辅助同行评审，指出传统的同行预测机制仅限于简单的报告，例如多项选择或标量数字。研究提出了利用LLMs强大文本处理能力的同行预测机制，以激励高质量、真实的反馈。这些机制在实验中能够区分人类撰写和LLM生成的评论。Fish等（2024a）使用LLMs解决传统社会选择理论的局限性，该理论仅限于在少数预定义替代方案中进行选择。研究利用LLMs生成文本并推断偏好，为设计具有严格代表性保证的AI增强民主进程提供了方法。Sun等（2024b）研究了LLMs如何在传统拍卖中提供更丰富的信息。研究引入了语义增强的个性化估值拍卖框架，利用LLMs将竞标者的偏好和语义项目信息整合到估值过程中。该框架将微调的LLMs与Vickrey拍卖机制相结合，以提高估值准确性和竞标策略。

5 结论与未来方向

本综述全面概述了LLMs与博弈论交叉领域的研究进展。我们从三个关键角度总结了博弈论在LLMs发展中的作用：提供基于博弈的标准化评估、推动博弈论算法创新以及建模LLMs的社会影响。此外，我们强调了LLMs与博弈论之间的双向关系，探讨了LLMs如何影响传统博弈模型。基于对现有文献的回顾，我们确定了博弈论与LLMs交叉领域的几个有前景的未来方向。在以下部分中，我们概述了其中一些机遇和挑战，以期推动这一多学科领域的发展。具有全面博弈能力的LLM代理：现有研究探索了在各种博弈场景中评估LLM代理，并开发了增强其推理能力的方法。然而，尽管其中一些方法展示了通用性，但其验证仍然高度依赖于具体场景。一个关键的未来方向是开发精通博弈论推理的LLM代理，能够在无需显式定制的情况下将其知识应用于多样化的博弈场景。实现这一目标需要在规则理解、外部环境建模和多代理推理方面取得进展。关键技术方面包括构建博弈论语料库、优化微调策略以及整合工具学习技术。超越以人类为中心的评估框架：博弈论为理性和策略推理提供了完善的评估标准，例如K级理性，这些标准已被广泛用于评估LLM智能。然而，这些评估方法最初是为人类认知设计的，可能无法完全捕捉基于下一个标记预测模型的推理过程。为了从博弈论角度全面评估LLMs，必须超越现有的以人类为中心的指标，开发专门针对基于神经网络的模型的评估框架。这仍然是一个未充分探索的领域，具有显著提升我们对LLMs决策理解潜力。LLMs策略行为的理论理解：将博弈论概念（如Shapley值）应用于理解LLMs的文本生成行为仍处于早期阶段。大多数关于LLMs在现实场景中策略行为的研究依赖于实证观察，而非系统的理论解释。例如，Park等（2025）引入了假设模型来解释为什么LLMs在重复博弈中难以达到无遗憾学习者的表现水平。将此类理论研究扩展到更复杂的场景（如狼人杀、阿瓦隆或讨价还价博弈）至关重要。对LLM策略行为的更深入理论理解将有助于定义其能力边界，并为进一步提高其推理能力提供见解。捕捉LLM优化中的合作博弈：许多利用博弈论优化LLM训练的研究（如第3.2节所述）主要关注非合作博弈场景。尽管非合作方法是一个自然的选择，但合作博弈论方法为LLM优化提供了额外的见解。例如，在专家混合模型中，不同的专家网络可以被视为合作博弈的参与者。采用合适的收益分配机制（如Shapley值或核心概念）可以优化专家选择和任务分配，减少冗余并提高计算效率。类似地，在集成学习和知识蒸馏中，不同的子模型可以被视为协作代理，共同优化决策边界或转移知识。有效的奖励分配和权重调整策略可以增强子模型之间的协作，减少冗余计算并提高泛化能力。将合作博弈论方法整合到LLM训练和优化中，可能提供新的理论见解和实际解决方案。多LLM与人类合作的建模：如第4.1节所述，先前的研究主要集中在建模LLMs与人类之间的竞争互动，揭示了其社会影响。然而，除了竞争，理解多个LLMs与人类之间的合作动态仍然是一个重要的研究方向。一个关键挑战是设计激励机制，激励LLMs在完成人类分配任务时进行协作，同时考虑其目标。对LLM代理目标和行为的理论描述对于弥合博弈论机制设计与实际部署之间的差距至关重要。推进这一研究方向可能有助于开发更有效地与人类目标一致并对社会产生积极影响的LLMs。利用LLMs作为预言机扩展理论博弈模型：如第4.3节所述，多项研究探讨了如何利用LLMs扩展经典博弈论模型。这些研究的关键见解是，LLMs凭借其强大的语言理解和生成能力，可以作为博弈论框架中具有特定功能的预言机。这一视角为放宽理想化假设或使用LLMs替代各种博弈模型中的理论预言机提供了新的机会。通过这种方式，以前仅停留在理论层面的模型现在可以实际实施，同时保留近似的理论性质。系统探索LLMs如何在不同理论模型中作为适应性预言机，可以弥合抽象博弈论概念与实际应用之间的差距。