【SIGIR2025】在缺失模态场景中解耦与生成推荐模态

多模态推荐系统（MRS）通过利用图像、文本和音频等多种模态，在提高个性化推荐方面取得了显著成功。然而，仍然存在两个关键挑战：

1）对缺失模态场景考虑不足； 2）忽视模态特征的独特性。这些问题导致在实际场景中，当某些模态缺失时，推荐系统的性能显著下降。为了应对这些问题，我们提出了解耦与生成推荐模态（DGMRec），这是一种针对缺失模态场景的新型框架。DGMRec从信息角度出发，将模态特征解耦为通用模态特征和特定模态特征，从而为推荐提供更丰富的表示。在此基础上，它通过整合其他模态的对齐特征和利用用户模态偏好生成缺失的模态特征。大量实验表明，DGMRec在具有挑战性的场景中（包括缺失模态、新项目设置、不同缺失比例和模态缺失的不同级别）始终优于现有的最先进的MRS。此外，DGMRec的基于生成的方法使得跨模态检索成为可能，这在现有的MRS中是不可行的，突显了其适应性和在现实应用中的潜力。我们的代码已发布在https://github.com/ptkjw1997/DGMRec。