多模态思维链推理：全面综述

通过将思维链（CoT）推理在类人逐步推理过程中的优势扩展到多模态场景，多模态思维链（MCoT）推理近年来引起了广泛的研究关注，尤其是在与多模态大语言模型（MLLMs）的结合方面。现有的MCoT研究设计了多种方法论和创新推理范式，以应对图像、视频、语音、音频、3D和结构化数据等不同模态的独特挑战，并在机器人、医疗、自动驾驶和多模态生成等应用中取得了广泛成功。然而，MCoT仍然面临独特的挑战和机遇，需要进一步关注以确保该领域的持续繁荣。遗憾的是，目前缺乏对这一领域的最新综述。为了填补这一空白，我们首次对MCoT推理进行了系统性综述，阐明了相关的基础概念和定义。我们从不同应用场景的多个角度提供了全面的分类和深入的方法论分析。此外，我们还对现有挑战和未来研究方向提出了见解，旨在推动多模态通用人工智能（AGI）的创新。

关键词：多模态推理，思维链，多模态大语言模型

1 引言

大型语言模型（LLMs）[1–7]的出现为人工智能（AI）领域开启了一个前所未有的时代。长期以来，人们认识到与真实世界环境的多模态本质对齐的必要性，相应地，AI领域从LLMs发展到多模态大语言模型（MLLMs）[8–18]，将多种模态整合到语言智能中。实现人类水平的智能需要超越基本的感知能力，达到复杂的认知推理能力——这是人类认知的标志，能够通过上下文理解和自我修正进行迭代推理。受此启发，上下文学习（ICL）技术使LLMs能够展示逐步推理——通常称为思维链（CoT）推理机制[19–24]。该技术使模型能够将问题分解为一系列中间步骤，从而增强决策的透明性以及在复杂推理任务中的表现。CoT推理在广泛的下游复杂任务中的显著成功推动了其在学术界和工业界的广泛应用。特别是最近的技术进步将这一能力隐式地集成到尖端系统中，如OpenAI的o1/o3 [25]和DeepSeek R1 [26]，引起了广泛关注。将CoT推理整合到多模态场景中，进一步催化了AI的变革性进展，催生了多模态思维链（MCoT）推理[27, 28]。由于CoT属性和跨模态数据交互的异质性，MCoT主题产生了一系列创新成果。一方面，原始的CoT框架已演变为包含分层思维结构的高级推理架构，从线性序列[19]到基于图的表示[23]。另一方面，与单模态文本设置不同，视觉、听觉和时空数据等多样化模态需要专门的处理策略——视觉推理需要对静态场景和对象关系进行精确感知和分析，而视频理解则需要强大的时间动态建模能力。这些需求推动了多种复杂MCoT方法的发展，这些方法使推理过程适应特定模态的特征，例如Multimodal-CoT [29]、MVoT [30]、Video-of-Thought [31]、Audio-CoT [32]、Cot3DRef [33]和PARM++ [34]。MCoT的显著效果也使其在自动驾驶[35–38]、具身AI [39–41]、机器人[42–45]和医疗[46–50]等关键领域成功应用，使其成为实现多模态通用人工智能（AGI）的基础技术。近年来，MCoT的研究吸引了越来越多的关注。图1展示了这一新兴领域的关键里程碑时间线。尽管MCoT在增强多模态推理方面具有巨大潜力，但它也提出了重大挑战，并留下了几个关键问题未解——例如，如何确定利用多样化多模态上下文的最有效策略，设计真正增强MLLMs推理能力的CoT过程，以及在这些模型中实现隐式推理。值得注意的是，缺乏全面的综述阻碍了这一新兴领域的知识整合。为了填补这一关键空白，本文首次对MCoT推理进行了系统性综述，提供了对技术发展、方法论、实际应用和未来方向的结构化分析。我们希望本综述能够成为权威参考，推动这一快速演进领域的进一步创新和进展。1.1 贡献首次综述：本文是首次专门对MCoT推理进行全面综述的论文。全面分类：我们提出了一个细致的分类法（见图2），对MCoT研究中的多样化方法进行了分类。前沿与未来方向：我们讨论了新兴挑战，并概述了未来研究的有前景的方向。资源共享：我们整理并公开了所有相关资源，以支持和加速研究社区的进展。1.2 综述结构本综述的其余部分组织如下。我们首先介绍与MCoT相关的基本概念和背景知识（§2）。然后，我们回顾了不同模态下MCoT的最新研究（§3）。接下来，我们提供了一个分类法，并从多个角度整合了MCoT的主流方法（§4）。随后，我们总结了MCoT的广泛下游应用（§5）。接着，我们从多个角度概述了数据集和基准测试（§6）。最后，我们讨论了该领域的挑战和未来方向（§7）。