【NeurIPS2023】SimMMDG：一个简单而有效的多模态领域泛化框架

在现实世界的场景中，实现领域泛化 (DG) 面临着重大挑战，因为模型需要泛化到未知的目标分布。对于未见过的多模态分布进行泛化更是困难，因为不同的模态显示出不同的属性。为了克服在多模态场景中实现领域泛化的挑战，我们提出了 SimMMDG，一个简单而有效的多模态 DG 框架。我们认为将不同模态的特征映射到同一嵌入空间会妨碍模型的泛化。为了解决这个问题，我们建议将每种模态中的特征分为模态特定和模态共享的组件。我们对模态共享的特征进行有监督的对比学习，确保它们具有联合属性，并对模态特定的特征施加距离约束以促进多样性。此外，我们引入了一个跨模态转换模块来规范学到的特征，也可以用于缺失模态的泛化。我们证明了我们的框架在理论上得到了很好的支持，并在 EPIC-Kitchens 数据集和本文中介绍的新的 Human-Animal-Cartoon (HAC) 数据集上展示了其在多模态 DG 上的强大性能。我们的源代码和 HAC 数据集可以在 https://github.com/donghao51/SimMMDG 上找到。