【AAAI2024教程】语言模型遇见世界模型（及智能体模型），187页ppt

AAAI会议作为全球AI领域的顶级学术盛会，被中国计算机学会（CCF）评为A类会议。AAAI2024的会议论文投稿量达到了历史新高，主赛道收到了12100篇投稿论文，9862篇论文经过严格评审后共有2342篇论文被录用，录用率达到23.75%。AAAI 2024于2月20日到27日在加拿大温哥华市举行。

来自UC San Diego Zhiting Hu和John Hopkins Univ. Tianmin Shu 的《语言模型和世界模型、智能体模型》教程

大型语言模型（LMs）在许多语言任务中取得了显著的成功。最近的研究也表明，从大型语言模型中可以获得对世界的知识，使它们能够协助进行有形任务的决策制定。然而，当前大型语言模型所展示的世界知识往往不够稳健，并且在没有额外模型的情况下无法在物理环境中得到验证。这限制了它们可靠执行复杂推理和规划任务的能力。例如，在创建动作计划以将方块移动到目标状态时，GPT-4与人类相比，成功率显著较低。

另一方面，人类基于世界的心理模型进行深思熟虑的推理和规划，也称为世界模型（WM），这使我们能够模拟动作及其对世界状态的影响。编码了物理世界知识的WMs可以大幅提高智能代理的数据效率和稳健性。

然而，WMs通常在强化学习和机器人学领域进行研究，这些领域在概念上与语言建模研究的问题不同。这一差距表明了将WMs与LMs连接起来以增强LM在体现和一般设置中的推理和规划能力的新机会，并解决上述限制的可能性。在WMs与LMs的交叉研究中出现的新兴研究已经展示了有希望的结果。本教程旨在总结并呈现连接WMs与LMs的统一视角，突出基于大型语言模型通过世界建模改进机器推理和规划的各种机会。我们将回顾最近关于学习WMs的研究，并使用它们进一步学习和执行有形任务。我们将展示LMs如何利用外部WMs来弥补它们缺乏的基于世界的知识，以及LMs本身如何从超越文本数据的体现经验中学习世界模型，并使用这些内部WMs指导复杂推理。

教程目录： * Part I: Large Language Models and their limitations (30mins)

Limitations of LLM reasoning in language reasoning, embodied reasoning, and social reasoning * Part II: Background of World Models and Agent Models (30mins) * Part III: Reasoning with World and Agent Models, on the Language Model backend (60mins)

Language model as world model, agent model, goals/reward, planner, belief, ... * Break: 10:30am - 11:00am * Part IV: Enhancing the Backend beyond Language Models (75mins)

Richer learning paradgims: Learning with embodied experienes, social learning * Multi-modal world modeling * Latent-space reasoning * Future directions

综述论文

尽管在许多应用中取得了巨大成功，但大型语言模型在各种（语言、体现和社会）场景中常常难以实现一致的推理和规划，这是由于它们在推理、学习和建模能力上的固有局限。在这篇论文中，我们提出了一种新的机器推理观点，LAW，它将语言模型、智能体模型和世界模型的概念联系起来，以实现更稳健和多样的推理能力。特别是，我们认为世界和智能体模型是一种更好的推理抽象，它引入了人类推理的关键元素，包括对世界和其他智能体的信念、对后果的预期、目标/奖励和战略规划。关键的是，LAW中的语言模型作为实现系统或其元素的后端，因此提供了计算能力和适应性。我们回顾了近期取得相关进展的研究，并讨论了将LAW框架实用化的未来研究方向。 * Hu and Shu, "Language Models, Agent Models, and World Models: The LAW for Machine Reasoning and Planning", 2023, https://arxiv.org/abs/2312.05230