【CVPR2024】探索多模态大型语言模型中视觉提示的可转移性

尽管多模态大型语言模型（MLLMs）展示了有希望的多功能能力，它们在下游任务上的表现仍然不如专门的模型，这使得调整它们以增强其实用性变得必要。然而，微调方法需要对每个模型进行独立训练，导致巨大的计算和内存开销。在本文中，我们提出了一个新的设置，旨在通过一组为下游任务优化的共享参数来提高不同MLLMs的性能。为此，我们提出了可转移视觉提示（Transferable Visual Prompting，TVP），一种简单而有效的方法，用于生成可以转移到不同模型并在仅在一个模型上训练后提高其在下游任务上的表现的视觉提示。我们引入两种策略来解决现有视觉提示方法的跨模型特征污染问题，并增强学到的提示的可转移性，包括1) 特征一致性对齐：对提示的特征变化施加约束，以保持与任务无关的知识；2) 任务语义丰富：鼓励提示图像在语言指导下包含更丰富的任务特定语义。我们通过与6种现代MLLMs在从对象识别和计数到多模态推理和幻觉校正等广泛任务上的大量实验，验证了TVP的有效性。