多模态信息如何嵌入推荐系统？RecSys2021《多模态推荐系统》教程，103页ppt讲述文本、图像与图形多模态信息利用

推荐系统通常从用户项目偏好数据(如评级和点击)中学习。这种信息在本质上是稀疏的，即，观察到的用户-项目偏好通常只代表可能的交互的不到5%。缓解数据稀疏性的一个有希望的方向是利用辅助信息，这些辅助信息可能编码关于用户如何消费商品的额外线索。这类数据(称为模态)的例子包括社交网络、商品的描述性文本、产品图片。本教程的目的是全面回顾最近的进展，以表示、转换和合并不同的模态到推荐模型中。此外，通过实际操作，我们考虑跨模态比较，以调研不同方法和模态的重要性。实际操作将通过Cornac (https://cornac.preferred.ai)进行，这是一个多模态推荐系统的比较框架。

本教程的结构如下。在概述了偏好模型的重要家族之后，我们将讨论如何将多模态推荐系统与代表特定模态的模型(用户-项目偏好之外的辅助数据)结合起来设计。随后，我们深入研究三个主要的感兴趣的模态，即:文本、图像和图形，同时识别在每个模态下的相关算法。接下来是对跨模态使用的调研，包括应该依赖哪个模态，为一种模态设计的模型是否可以与另一种模态工作，以及为给定模态使用哪个模型。

本教程适用于寻求应用经验的实践者，以及对多模态推荐系统近期和未来研究方向感兴趣的研究人员。要求具备Python和机器学习的基本知识。虽然熟悉推荐系统是加分项，但不是必须的。请带上你自己的笔记本电脑。

目录内容：

推荐系统概述 Brief overview of recommender systems (20 minutes) 多模态推荐系统导论 Introduction to multimodal recommender systems (20 minutes) Hands-on: Starting with the Cornac framework (10 minutes) 模态探究 Exploration into each modality (90 minutes):

• Text modality
• Image modality
• Network modality

跨模态利用 Cross-modal utilization (30 minutes) Future directions (10 minutes)