【CCF-A】TOIS2022：基于元学习的冷启动序列推荐

会员服务 ·

【CCF-A】TOIS2022：基于元学习的冷启动序列推荐

2022 年 3 月 31 日 专知

基于元学习的冷启动序列推荐

Learning to Learn a Cold-start Sequential Recommender

黄晓雯，桑基韬，于剑，徐常胜

论文地址：

https://dl.acm.org/doi/10.1145/3466753

摘要

冷启动（cold start）推荐是目前在线应用中一个亟待解决问题，其目的是为在线行为稀疏/缺失的用户提供尽可能准确的个性化推荐。本工作采用元学习的思想以解决用户冷启动推荐问题。本文提出了一个基于元学习的端到端冷启动序列推荐框架metaCSR，将具有充分行为的温启动（warm start）/普通用户的交互作为输入，并为具有少量行为的冷启动用户输出“next-one”物品预测。metaCSR的关键思想是从普通用户行为中学习常见的模式，并应用于新用户的模型参数初始化中，以便模型能够在一次或几次梯度更新后迅速适应新用户，从而实现冷启动推荐最佳性能。metaCSR框架图如图1所示，包括三个主要模块：Diffusion Representer用于通过交互图上的信息扩散学习更好的用户/物品嵌入表征；Sequential Recommender用于捕捉行为序列的时间依赖性；Meta Learner用于提取和传播先前用户的可迁移知识并为新用户学习一个好的初始化参数。实验证明metaCSR具有良好的泛化性能，同时在温启动和冷启动推荐场景中均表现最佳。

图1：metaCSR模型框架图

方法

Diffusion Representer

用户和物品的嵌入表示有很多方式，例如最简单的one-hot表示或通过嵌入层对高维稀疏向量进行压缩，学习低维密集向量表示。此外，还可以通过引入辅助信息进行融合表示，如用户的属性、物品的文本和图像等，或学习包含语义图结构信息的语义表征，例如在用户和物品的表征学习中引入知识图谱。在推荐任务中，挖掘用户的兴趣是提高任务表现的核心手段。图卷积网络（GCNs）通过对图中的信息扩散过程进行建模，同时利用图结构和节点特征信息，具有良好的表征效果。因此，本文构建了一个用户-物品互动图，以更精细的方式来模拟信息扩散效应，通过聚合邻居信息学习用户和物品的高阶交互表征，并将其应用到下游任务中。图2是Diffusion Representer模块示意图，其中卷积（CONVOLVE）操作如图3所示。

图2：Diffusion Representer示意图

图3：卷积算子

Sequential Recommender

建模用户序列行为，捕捉各行为元素间的依赖关系，有利于学习用户动态兴趣表示，提升序列推荐性能。本模块采用基于自注意力机制的序列建模方法，捕捉不同长度的序列长距离依赖，并受益与其并行计算的能力，可有效提升模型效率。

Meta Learner

metaCSR旨在通过将冷启动推荐建模为小样本学习问题，通过挖掘通用模式提升模型的泛化性能。基于梯度（或优化）的元学习是一种非常有效的解决该问题的手段。本文将经典的元学习方法MAML进行改进，并拓展应用于序列推荐任务中。图4是metaCSR算法伪代码。

元训练阶段分为内循环优化与外循环优化两个阶段：

内循环阶段使用支撑集（support set）只更新与任务相关的模型参数（Sequential Recommender），旨在优化用户的个性化偏好表示，此阶段不更新Diffusion Representer，因为用户/物品的表示是全局共享的。
外循环阶段使用查询集（query set）更新模型所有参数，以便为该模型在后续几次局部更新后快速适应新用户做好准备。

元测试阶段，应用新用户的少量行为样本对训练后的模型进行微调，微调后的模型将应用于最终的冷启动推荐中。