【NeurIPS2024】迈向统一的多模态编辑与增强的知识协作

随着多模态大语言模型 (MLLMs) 的快速发展，有效的知识编辑也面临着巨大的挑战。现有方法，包括内在知识编辑和外部知识检索，各自具有优缺点，但在应用于 MLLMs 时，难以平衡可靠性、通用性和局部性等理想属性。在本文中，我们提出了一种新的多模态编辑方法 UniKE，它为内在知识编辑和外部知识检索建立了统一的视角和范式。两种类型的知识都被概念化为向量化的键值存储，其相应的编辑过程类似于人类认知中的同化和顺应阶段，且在相同的语义层次上进行。在这样一个统一框架内，我们进一步通过将知识表示解耦为语义空间和真实性空间来促进知识协作。大量实验验证了我们方法的有效性，确保编辑后的 MLLM 同时保持出色的可靠性、通用性和局部性。UniKE 的代码将发布于 https://github.com/beepkh/UniKE。https://arxiv.org/pdf/2409.19872