【CVPR2025】BadToken：针对多模态大语言模型的词元级后门攻击

多模态大语言模型（MLLMs）扩展了大语言模型（LLMs）以处理多模态信息，使其能够生成对图像-文本输入的响应。MLLMs已通过即插即用的方式被集成到多种多模态应用中，例如自动驾驶和医疗诊断，而无需微调。这种部署模式增加了MLLMs受到后门攻击的脆弱性。然而，现有的针对MLLMs的后门攻击在有效性和隐蔽性方面表现有限。 在本研究中，我们提出了BadToken，这是首个针对MLLMs的词元级后门攻击。BadToken引入了两种新的后门行为：词元替换和词元添加，通过对后门输入的原始输出进行词元级修改，实现灵活且隐蔽的攻击。我们构建了一个通用的优化问题，综合考虑这两种后门行为以最大化攻击效果。我们在两个开源MLLMs和多种任务上评估了BadToken。实验结果表明，我们的攻击在保持模型实用性的同时，实现了高攻击成功率和隐蔽性。我们还展示了BadToken在自动驾驶和医疗诊断两种场景中的现实威胁。此外，我们考虑了包括微调和输入净化在内的防御措施。实验结果凸显了我们攻击的威胁性。