推荐系统中的扩散模型：综述

推荐系统仍然是一个重要的研究领域，因其在多个领域的广泛应用以及背后的商业潜力。随着深度学习的兴起，常见的解决方案已利用神经网络来促进协同过滤，并且有些方法通过生成对抗网络（GANs）来增强数据集并解决数据稀疏问题。然而，这些方法在学习复杂的用户和物品分布时仍然存在局限性，且常常面临模型崩溃的问题。近期，扩散模型在计算机视觉领域展现了强大的生成能力，因此许多推荐系统已开始采用扩散模型，并在多个任务上取得了性能提升。扩散模型在推荐系统中能够有效管理复杂的用户和物品分布，并且不容易出现模式崩溃。凭借这些优势，相关研究的数量迅速增长，迫切需要进行系统性的综述。 在本综述论文中，我们提出并构建了基于扩散模型在推荐系统中的应用的分类方法，回顾了过去的研究工作。与先前基于扩散模型角色进行分类的综述不同，我们的分类是基于推荐任务本身。这个决定源自于这样的逻辑：采用扩散模型的最终目的是提升推荐性能，而非反过来将推荐任务调整为适应扩散模型。然而，我们也为扩散模型在推荐系统中的应用提供了一个独特的视角，作为现有综述的补充。我们介绍了扩散模型的基础算法及其在推荐系统中的应用，以总结这一领域的快速发展。最后，我们讨论了开放的研究方向，以促进和鼓励进一步推动该领域的努力。相关论文已整理并发布在一个公共的GitHub仓库中。1 引言推荐系统旨在为用户推荐所需的项目，随着万维网的兴起，它们已经获得了广泛的关注。互联网聚集了大量的用户，并促进了电子商务等消费领域的发展。优化推荐系统不仅能为公司带来巨大的利润，也能提升用户的生活质量。作为优化推荐系统的常见方法之一，协同过滤通过考虑用户和物品之间的相似性，为目标用户提供推荐。然而，鉴于用户和物品的庞大数量，用户通常只与少部分物品进行互动，导致数据集的稀疏性[19]。稀疏数据集常常给推荐系统带来显著挑战，阻碍其提供有信心的推荐。为了解决这一问题，一些系统引入了生成对抗网络（GAN）[42]来增强数据集并增加其密度[41]。然而，生成对抗网络通常会面临训练不稳定和模式崩溃的问题。此外，推荐系统中庞大且复杂的用户和物品集合，也为捕捉复杂模式带来了额外的挑战。鉴于这些挑战，探索更合适的替代方法仍然是研究的重点，例如扩散模型[57, 132]，它能够更好地建模复杂模式而没有这些缺点。最近，扩散模型在计算机视觉领域展现了这些优势。它们具有建模复杂分布和估计噪声的能力。该概念最初源自非平衡热力学[129]，旨在通过计算上可处理的概率分布来建模复杂的数据分布。该模型通过迭代的前向扩散过程逐渐破坏数据分布，并生成一个生成模型，通过反向过程学习恢复该分布。随后，NCSN[132]提出了专门使用高斯噪声扰动数据，并估计在各个噪声层级下扰动分布的梯度。通过朗之万动力学采样，生成的图像与生成对抗网络所产生的图像可媲美。在此基础上，Ho等人[57]开发了去噪扩散概率模型（DDPM），作为另一类生成模型，依赖于固定的噪声调度。结合这些研究，推动了近年来图像生成领域的突破性模型，包括稳定扩散（Stable Diffusion）[120]、DaLLE[118]和DreamBooth[122]。通常，扩散模型在前向过程中向数据添加噪声，并训练神经网络模型来估计添加的噪声量。在推理阶段，训练好的模型通过迭代过程预测并去除从随机噪声中加入的噪声，生成最终的去噪输出。尽管这些模型在图像生成任务中展现了引人注目的能力，其根本原因来自于它们在处理像素的复杂分布方面的优势。鉴于数据分布，扩散模型展现了捕捉底层分布并据此生成数据的能力。通过将输入（例如图像）视为一种表示，扩散模型擅长学习表示。扩散模型的另一个优势在于其去噪网络的灵活性。尽管U-Net模型[121]在图像生成任务中很常见，它们可以被其他模型替代，如多层感知机（MLP）或变压器模型[140]。该网络的目标是作为近似器，识别扩散过程中添加的噪声量。此外，由于扩散模型专注于优化噪声的估计，它们不会经历生成对抗网络常见的训练不稳定问题。此外，迭代的去噪过程，在每一步中都包括从标准正态分布中进行随机采样，引入了最终生成样本的变异性和多样性。这种固有的随机性帮助扩散模型避免了模式崩溃问题，这是生成对抗网络常见的另一个挑战。考虑到推荐系统中的挑战以及扩散模型的优势，它们在提升推荐系统性能方面展现了巨大的潜力。通过近年来的相关出版物，我们可以看到扩散模型在推荐系统中的应用呈现上升趋势，如图1所示。尽管NCSN[132]和DDPM[57]分别于2019年和2020年提出，但直到2022年才有研究将其应用于推荐系统。从那时起，相关出版物数量逐渐增加，代表了该领域日益增长的兴趣，这也促使我们开展此项综述工作。我们旨在提供一份全面的扩散模型在推荐系统中的应用方法列表，并描述该领域的现状，识别研究空白并鼓励进一步的研究努力。鉴于该领域发展迅速，我们旨在为研究人员提供全面的知识，帮助他们迅速把握该领域的整体格局，同时为希望进入该领域的研究生提供指导。我们的贡献总结如下：提供一份全面的综述，涵盖扩散模型在推荐系统中的广泛应用，包括协同过滤、序列推荐、多领域推荐和负责任的推荐。详细介绍扩散模型的技术知识，包括从原始框架和技术的改进，以提高效率。总结扩散模型在推荐系统中的应用趋势，概括并比较其在各自应用中的算法。提供对未来研究问题和视角的展望，识别当前研究现状中的空白。 调研方法本综述关注的是涉及扩散模型的推荐系统，我们通过使用Google Scholar检索相关论文，关键词包括“推荐系统中的扩散模型”和“推荐中的扩散模型”。为了与图扩散和信息扩散区分开，我们手动检查每篇论文中的扩散定义，确保只包含那些使用与NCSN[132]或DDPM[57]相同的扩散模型的论文。此外，我们在Google Scholar中深入挖掘，直到没有相关论文为止，并通过手动检查每篇相关论文的相关工作部分，确保收录所有相关文献。最终，我们收录了70篇涉及扩散模型在推荐系统中的应用的论文，纳入本综述中。图2展示了按照我们的分类法对一些相关论文的时间线进行分类。相关工作在推荐系统领域，已有多项综述涉及诸如强化学习[1]、对话式推荐系统[66]、图神经网络[40, 154]、自监督学习[171]、多媒体内容[29, 89]以及基于会话的推荐系统[143]等子领域。这些综述聚焦于推荐系统的特定子集，并未涵盖扩散模型。[28]参考文献专注于生成模型在推荐系统中的应用，包括扩散模型。然而，只有一小部分（[28]中的第2.4节）涉及扩散模型，且引用较少，仍有很大的改进空间。另一方面，专注于扩散模型的几篇综述则涵盖了通用方法和应用[166]、视觉[24]、视频[160]、医学影像[73]以及生物信息学和计算生物学[46]等领域。Lin等人[84]对扩散模型在推荐系统中的应用进行了综述，基于扩散模型的作用将其分为三类：数据工程与编码、推荐模型和内容呈现。在扩散模型和推荐系统的交集处，这一分类是从扩散模型的角度出发的。尽管这些见解有其价值，但我们认为，最终推荐任务仍然是最重要的关注点，因为采用扩散模型的目的是提升推荐性能，而不是反过来调整推荐任务以适应扩散模型。因此，我们提出了一个相反且互补的视角，专注于推荐任务的分类。我们将其分为四个主要类别：协同过滤、序列推荐、多领域推荐和负责任推荐。对于协同过滤，我们进一步根据辅助信息的类型划分子类别，包括隐式反馈、显式评分、物品图和用户图。对于序列推荐，我们将兴趣点推荐（POI）视为特殊情况，并划分为三个子类别：序列作为扩散目标和引导、序列作为扩散目标、序列作为扩散引导。对于多领域推荐，我们将多模态属性和跨域推荐归为一类，还包括图像生成和文本到推荐。对于负责任推荐，我们识别了公平性、问责制、透明度和分布外（OOD）四个方面。通过这种方式，读者可以轻松识别他们感兴趣的推荐领域，并了解扩散模型在其中的多样化应用。此外，我们还介绍了各篇论文中使用的数据集，并描述了它们各自的属性，增强了综述的全面性。 本文其余部分的组织结构如下：第二节介绍扩散模型的基础知识，第三节对相关文献进行分类并突出其特点，第四节讨论用于训练和评估相关论文的数据集，第五节揭示开放的研究方向以鼓励未来的研究，第六节对本综述进行总结。