西工大最新《多模态大型语言模型》全面综述

摘要——在数据爆炸性增长和技术快速发展的时代，多模态大型语言模型（MLLMs）处于人工智能（AI）系统的前沿。MLLMs旨在无缝集成包括文本、图像、视频、音频和生理序列在内的多种数据类型，解决远远超出单一模态系统能力范围的复杂现实应用问题。在本文中，我们系统地梳理了MLLM在自然语言、视觉和音频等多模态任务中的应用。我们还对不同MLLM在任务中的关注点进行了对比分析，并深入探讨了当前MLLMs的不足之处，并提出了未来研究的潜在方向。通过这些讨论，本文希望为MLLM的进一步发展和应用提供宝贵的见解。关键词——MLLMs, 任务, AI应用, 融合技术。多模态大型语言模型（MLLMs）是设计用来处理和集成各种类型数据的复杂人工智能（AI）系统，包括文本、图像、视频、音频和生理序列数据[1]，[2]，[3]。随着我们进入多模态数据融合的时代，信息技术的快速进步和数据量的爆炸性增长，单一模态系统的能力已不足以应对复杂的现实任务[4]，[5]，[6]。因此，MLLMs的发展不仅是技术进化的必然趋势，也是提高AI应用有效性的关键改进。通过融合来自多个数据源的信息，MLLMs培育了更全面和准确的信息表示，这种能力不仅释放了巨大的潜力，还展示了在各个领域的显著实际应用价值。多样化数据集的整合使得MLLMs能够更有效地执行任务，确立其作为下一代技术的不可或缺地位，致力于充分发挥AI技术的潜力[7]，[8]，[9]。值得注意的是，MLLMs在语言、图像、视频和音频处理等多种多模态任务中表现出了显著的性能。这些模型在集成多模态信息以增强多模态任务的有效性方面表现出色。在自然语言处理（NLP）任务中，如文本生成和机器翻译，MLLMs利用图像、视频和音频提供上下文支持，增强生成文本的准确性和表达力[10]，[11]，[12]。这些模型在情感分析和对话系统中也表现出色，通过整合多模态信息来提高理解和生成能力。特别是，MLLMs通过结合视觉和听觉数据，丰富了文本生成和机器翻译[13]，[14]，[15]。这些模型提高了生成文本的准确性和表达力，提供了传统模型无法实现的细腻上下文支持。在情感分析和对话系统中，MLLMs能够整合多模态信息，进一步加深系统的理解和响应能力，展示了在人机交互方面的重大进步[16]，[17]。此外，在视觉任务中，MLLMs显著提升了任务的理解、分析和生成能力。整合文本描述和图像指令使得图像分类、目标检测和图像注释等任务更加准确。例如，像GPT-4V[13]和Gemini[18]这样的MLLMs结合图像内容和自然语言描述，产生更生动和精确的注释结果。这些模型在图像生成方面也取得了进展，可以从文本描述生成图像或实现跨模态图像风格迁移，从而拓宽了该领域的可能性。同时，由于视频处理的复杂性，它提出了独特的挑战。然而，MLLMs的出现推动了语言模型在这一领域的能力发展。像NExT-GPT[19]和Sora[20]这样的模型在多模态视频生成方面处于领先地位，通过学习多模态数据生成更丰富和逼真的视频内容。此外，智能视频理解技术的进步，如VideoChat[21]和Video-LLaVA[22]，显著增强了分析和处理视频内容的能力。这些发展在虚拟现实、电子游戏和教育应用中承诺了增强的用户体验。在音频任务中，MLLMs为音频处理任务带来了新的技术变革。传统的音频处理通常依赖于单一模态的信号处理方法，如语音识别[23]或音频分类[24]，这些方法在处理复杂的多模态数据时存在局限性。MLLMs通过结合音频信号、文本和视觉信息，能够更好地理解和生成音频相关内容。例如，在语音生成任务中，MLLMs可以利用文本和视觉信息生成更自然和上下文相关的语音输出[25]，[26]。在音频理解任务中，这些模型可以结合视觉线索和文本描述，更准确地执行情感识别、音频分类或音频事件检测。此外，MLLMs在跨模态音频文本翻译、音频配乐生成和多模态情感分析等任务中显示出强大的潜力[27]，[18]。这些技术进步不仅提高了音频处理的有效性，还扩展了其在智能家居、虚拟助手、影视制作等现实应用中的场景。本文回顾了MLLM应用的最新进展，在第二节介绍了MLLMs的基本概念和主要架构，第三节描述了它们在不同领域的表现，以识别其优缺点，第四节通过比较分析突出MLLMs的变革性影响，并在第五节提供了未来研究的路线图。我们的讨论旨在激励持续创新，确保MLLMs在AI技术发展的前沿位置。通过对当前实施和进展的全面回顾，本文旨在总结研究成果，提供有价值的参考，并为MLLM领域的未来研究提供指导。我们的目标是激发新思想和新方向，以确保MLLMs在AI技术发展中保持领先地位。

II. 多模态大型语言模型概述

**A. 定义和基本概念

总体而言，MLLMs 代表了人工智能和机器学习领域的重大进展，具备处理和解释多种数据类型（包括文本、图像、音频和视频）的能力[28], [29], [30]。通过整合和合成这些不同模态的数据，MLLMs 实现了对信息更全面和精确的理解和生成[3]。

特别是，MLLMs 是专门设计用来同时处理和解码多模态数据的复杂系统。MLLMs 的核心原理在于不同模态的整合和交互，这显著增强了模型的有效性。这种多模态方法不仅提升了对单一数据类型的理解，还促进了它们之间的更细致的互动，从而扩展了 AI 应用的范围和准确性。例如，在图像描述任务中，MLLMs 利用文本和视觉数据生成准确且上下文相关的图像描述。这种协同作用使模型能够超越单一模态系统的限制，提供更丰富和详细的输出。此外，音频和视觉数据的结合可以大大提高视频理解和注释任务的性能，使 MLLMs 成为需要详细多媒体分析的应用中的宝贵工具。

通过利用各种数据类型的集体优势，MLLMs 不仅增强了 AI 解释和与世界互动的能力，还为机器理解复杂、多方面的信息开辟了新的发展方向。

**B. 多模态大型语言模型的主要组件

MLLM 通过多个关键组件有效地处理和整合来自不同模态的数据。这些组件设计用于将各种来源的原始输入转化为可操作的见解，使这些模型非常通用和有效。这些模型的架构大致可以分为三个主要组件：多模态输入编码器、特征融合机制和多模态输出解码器。

多模态输入编码器：多模态输入编码器是 MLLMs 中的关键组件，设计用于将来自不同模态的原始输入数据转化为模型可以有效处理的结构化格式。这个重要模块专门处理不同类型的数据，确保每种数据形式都能被优化编码，从而有效地贡献于模型的整体功能。以下是编码器如何处理每种数据类型的细节：

文本：对于文本数据，编码器利用嵌入层技术，将词汇映射到连续数字向量中，以及多层感知器（MLP）或更高级的 Transformer 来管理文本中的长程依赖和上下文。

图像：视觉数据通过最先进的架构如 Vision Transformer (ViT) [31] 处理，ViT 将图像部分视为序列以更好地捕捉关系，或通过残差网络（ResNet）[32] 处理，ResNet 帮助在各层中学习更深的特征而不丢失上下文。

音频：音频数据使用 C-Former [33]、HuBERT [34]、BEATs [35] 或 Whisper [36] 等模型进行分析。这些模型专门捕捉声音的独特特性，从基本音调到复杂的语言，增强了模型准确解释听觉信息的能力。

序列数据：对于如脑电图（EEG）和心跳等序列数据，编码器采用 1D 卷积神经网络（1D-CNN）和长短期记忆网络（LSTM）单元的组合。该设置特别有效于捕捉数据中的时间和空间模式，这对于医疗应用中的早期诊断至关重要。

通用编码器：一种较新的创新是通用编码器，旨在标准化处理各种高度多样化的数据类型，包括音频、视频和功能性磁共振成像（fMRI）。该编码器利用一种通用方法来处理和整合多种形式的数据，促进数据处理的一致性和效率。这些编码器将原始输入转换为特征向量，然后转化为固定长度的特征序列。这种标准化对于进一步处理数据至关重要，确保模型的后续层可以有效地执行特征融合和解码。

通过适应和优化各种数据类型的初始处理，多模态输入编码器不仅提升了模型的性能，还扩展了其在不同领域的适用性。无论是提高图像描述的准确性，丰富机器翻译的上下文，还是推进医疗诊断工具的精度，这个编码器在使 AI 模型能够执行复杂任务方面发挥了基础性作用。 特征融合机制：多模态模型的核心在于整合不同模态的特征。这个整合可以在不同阶段进行[37]，[38]：

早期融合：在初始阶段结合输入数据，利用不同模态的原始互联性。

中期融合：在特征提取阶段融合特征，使每种模态都能为统一表示做出独特贡献。

晚期融合：在决策阶段整合单独模态路径的最终输出，通常用于需要多种数据类型综合判断的任务。

联合融合：一种混合方法，结合早期、中期和晚期融合，最大化各阶段的数据利用。这些融合过程通常利用预训练的大型语言模型（LLM），这些模型虽然最初设计用于文本数据，但通过高级特征投影和序列化技术适应处理和综合多模态输入。

多模态输出解码器：最后，多模态输出解码器将融合、综合的多模态信息重新转换为特定任务所需的可用形式。比如在图像描述任务中，解码器可能基于视觉输入生成描述性文本。在视频理解任务中，它可能生成结合视觉和听觉数据的注释或摘要。每个解码器都经过精心设计以优化准确性和质量，确保输出精确反映从综合模态中获得的见解。

总之，多模态大型语言模型的复杂架构使其能够通过整合和合成文本、图像和音频数据来处理复杂任务。这种能力不仅提升了 AI 应用的性能，还为我们理解和互动技术开辟了新的创新途径。

**C. 大型语言模型中的多模态特征概述

在融合多模态特征时，通常不会从零开始训练新模型，而是利用现有的预训练大型模型，如 LLMs。尽管预训练的 LLMs 主要设计用于处理文本输入，但可以通过各种技术使这些模型适应处理多模态数据。我们将在本节介绍一个具体示例，以详细说明融合过程并进行理解。

首先，需要将每种模态的数据编码并投影到统一的特征空间中。例如，可以使用预训练模型如 ResNet 或 Vision Transformer 将图像数据转换为特征向量 Vimage。文本数据可以使用预训练文本编码器如 BERT [39] 转换为特征向量 Vtext，音频数据可以通过预训练音频编码器如 wav2vec [40] 转换为特征向量 Vaudio。然后，通过线性变换或其他投影方法将不同模态的特征向量映射到共享特征空间中。为了将这些多模态特征输入到预训练的 LLM 中，需要将来自不同模态的特征组织成一个序列。可以简单地通过连接来自不同模态的特征（如 [Vimage, Vtext, ..., Vaudio, Vtext]）来形成多模态特征序列。

接下来，将构建的多模态特征序列输入到预训练的 LLM 中进行处理。Transformer 模型通过多层自注意力机制和前馈神经网络处理输入特征序列。每一层包含自注意力和前馈网络模块，更新和整合特征表示，逐步提取更高层次的特征。经过多层 Transformer 处理后，模型生成一个包含综合信息的特征表示序列。根据任务需求，可以通过特定的输出层生成最终结果。例如，如果任务是生成文本描述，可以将综合特征表示输入到文本生成器中以生成描述性文本。

通过遵循这些步骤，可以有效地由 LLM 处理多模态特征。尽管预训练语言模型如 GPT 和 LLAMA 主要设计用于文本输入，但其能力可以通过特征投影和序列化方法扩展，以处理和整合多模态数据，从而执行复杂的多模态任务。