CIKM 2020 | 序列推荐预训练：基于互信息最大化的自监督学习

近年来，许多在线平台（如亚马逊和淘宝网）都取得了巨大成功。在线平台上的用户行为是动态变化的，且会随着时间而发展。序列推荐的主要目标就是从用户历史行为中捕捉关键的信息，并基于此准确表征用户兴趣进而提供高质量的推荐[1,2,3]。已有研究人员基于深度学习提出很多序列推荐的模型，此外还有研究人员结合丰富的上下文信息（如商品属性）一起进行用户兴趣建模，实验表明，上下文信息对于提高推荐效果很重要。

尽管现有方法在一定程度上已被证明有效，但它们有两个可能会影响推荐效果的缺陷。首先，他们主要依靠“下一个物品推荐”（Next Item Prediction）损失函数来学习整个模型。在使用上下文信息时，也仍然只使用这一个优化目标。已有研究表明，这种优化方法很容易受到数据稀疏性等问题的影响。此外，它们过分强调最终的推荐性能，而上下文数据和序列数据之间的关联或融合却没有在数据表示中被很好地捕获。多个领域的实验结果表明[4，5，6]，更有效的数据表示方法（例如，预先训练的上下文信息嵌入）已成为改善现有模型或体系结构性能的关键因素。因此，有必要重新考虑学习范式并开发更有效的序列推荐系统。

为了解决上述问题，我们借鉴了自监督学习的思想来改进序列推荐的方法。自监督学习是一个新兴的学习范式，旨在让模型从原始数据的内在结构中学习。自监督学习的一般框架是首先从原始数据中构建新的监督信号，然后通过这些额外设计的优化目标来对模型进行预训练。如之前讨论的，有限的监督信号和低效的数据表示是现有的神经序列推荐方法的两个主要问题。幸运的是，自监督学习似乎为解决这两个问题提供了解决方案：它通过内在数据相关性来设计辅助训练目标以提供丰富的自监督信号，并通过预训练的方法增强数据表示。对于序列推荐，上下文信息以不同的形式存在，包括物品，属性，子序列和序列。开发统一表征这种数据相关性的方法并不容易。对于这个问题，我们借鉴最近提出的互信息最大化（Mutual Information Maximization, MIM）方法，其已被证明可以有效捕获原始输入的不同视图（或部分）之间的相关性。

基于以上，我们提出了一种基于自监督学习方法的序列推荐模型（Self-Supervised Learning Sequential Recommendation, S3-Rec）。基于自注意力机制的体系结构[3]，我们首先使用设计的自监督训练目标对模型进行预训练，然后根据推荐任务对模型进行微调。此工作的主要新颖之处在预训练阶段，我们基于MIM的统一形式精心设计了四个自监督的优化目标，分别用于捕获物品-属性间，序列-物品间，序列-属性间和序列-子序列间的相关性。因此，S3-Rec能够以统一的方式来表征不同粒度级别或不同形式数据之间的相关性，并且也可以灵活地适应新的数据类型或关联模式。通过这样的预训练方法，我们可以有效地融合各种上下文数据，并学习属性感知的上下文化的数据表示。最后，将学习到的表示输入推荐模型，并根据推荐任务对其进行优化。

为了验证S3-Rec的有效性，我们在6个不同领域的真实数据集上进行了充分的实验。实验结果表明，S3-Rec超过了目前的SOTA，并且在训练数据非常有限的情况表现得尤为明显。另外S3-Rec还可以有效得适应其他类别的神经体系结构，例如GRU[1]和CNN[2]。我们的主要贡献概括如下：（1）据我们所知，这是首次采用MIM进行自监督学习来改善序列推荐任务的工作；（2）我们提出了4个自监督优化目标来最大化不同形式或粒度的上下文信息的互信息；（3）在6个数据集上的充分实验证明了我们方法的有效性。