CIKM 2021 | 自监督学习在社会化推荐系统中的应用

会员服务 ·

CIKM 2021 | 自监督学习在社会化推荐系统中的应用

2021 年 11 月 14 日 PaperWeekly

©PaperWeekly 原创 · 作者 | 龙小玲、黄超

单位 | 香港大学计算机学院

研究方向 | 自监督学习, 推荐系统

论文标题：

Social Recommendation with Self-Supervised Metagraph Informax Network.

论文来源：

CIKM 2021

论文地址：

https://arxiv.org/pdf/2110.03958.pdf

论文代码：

https://github.com/SocialRecsys/SMIN

研究背景

推荐系统（Recommender Systems）已成为电子商务、新闻门户等在线服务平台的重要组成部分，其目的在于有效挖掘用户兴趣并缓解信息过载的问题。协同过滤（Collaborative Filtering）作为应用较为广泛的推荐方法，它从用户和商品的历史交互行为中挖掘出用户的兴趣爱好并进行推荐。

然而，传统的协同过滤方法经常遭受数据稀疏和冷启动问题，而随着线上用户社交的流行，使用户能够与他人分享他们的观点，许多方法致力于将在线社交网络信息融入到用户-商品交互模式的学习框架中，以缓解数据稀疏问题并提升推荐系统的精确度。

近年来，许多工作提供了神经网络技术的深入见解，并设计了更加复杂的模型来从用户社交网络和用户商品历史交互中学习用户和商品的表征信息，进而提高推荐性能。但是，现有的社交推荐模型缺少对用户和商品间高阶语义关系的显示学习，同时忽略了商品侧的一些额外信息。例如，电商平台上两个没有直接好友关系的用户，可以通过点击同一个商品或者点击同一个类别的商品关联起来，从而捕获更高阶的用户关联性信息，从而丰富用户的特征表示。

在该研究工作中，我们通过引入商品侧的知识信息和对用户和商品间高阶语义关系的显示编码作为出发点进行探索，提升推荐系统的性能，但同时引入用户社交关系和商品知识信息带来了诸多技术挑战。首先，将用户社交关系和商品知识信息融入到用户-商品交互中，涉及到不同的相互依赖关系，这本质上是异构的，如何在建模中提取异构关系的语义信息，仍然是一个重大的挑战。

同时，在实际推荐场景中，影响用户行为的因素通常是多方面的，可以是来自商品侧也可以是来自用户侧，例如用户会因为他的好友购买过某个商品而对该商品产生兴趣；用户也有可能对某个商品感兴趣因为他曾经购买过和该商品同一类的其他商品，因此设计网络来捕获用户侧和商品侧特定语义关系的影响是非常有必要的。此外，图神经网络中如何将高阶的语义关系融入到用户商品特征中，又同时保持图的局部和全局信息，仍是该工作所面临的重要挑战。

模型介绍

在意识到将用户侧和商品侧的高阶异构语义关系融合到推荐框架中的重要性以及相应的挑战，本文提出基于自监督学习的 SMIN（Self-Supervised Metagraph Informax Networks）推荐算法。其中 SMIN 方法分为三个模块, 分别是基于Meta-Relation的异构编码模块（Meta-Relation Heterogeneity Encoding）、关系聚合模块（Self-Supervised Graphical Mutual Information Learning Paradigm）、以及基于自监督的互信息学习框架（Self-Supervised Graph Mutual Information Learning Paradigm）。

本文提出了一种基于 Meta-Relation 的异构图神经网络，从多语义维度对用户和商品间复杂关系进行建模，并通过最大化局部特征与全局特征间的互信息，进行联合训练。

2.1 异构关系编码器

首先，我们提出一个基于元路径的异构关系编码器来提取用户和商品节点之间不同的语义关系（异构图由三部分构成：user-user 关系图、user-item 交互图、item-item 关联性图）。

本文中我们分别在用户域和商品域定义了不同类型的元路径信息，如下图所示：

2.1.1 用户域

Social Network Context：代表用户之间的社交关系，例如好友关系、有共同兴趣的社区群体，用户的偏好兴趣会收到其他好友的影响。
Behavior-level User Relation：除了显性存在的社交网络连接外，还通过考虑用户行为来建模用户时间的关联度，例如购买或者点击过很多个同一个商品的两个用户会彼此产生一定的关联。
Knowledge-aware User Dependency：为了将商品额外的知识信息整合到推荐框架中，我们进一步考虑了基于商品间额外信息所构建出来的用户关联性，例如购买或者点击过多个同一个类别的商品的两个用户会彼此间存在潜在的相关联性。

2.1.2 商品域

Behavior-level Item Relation：根据用户的交互行为来考虑商品间的潜在关系，例如被相同用户点击过的商品，可能会具有一些潜在的共性。
Knowledge-aware Item Dependency：引入商品的额外知识信息，例如商品的类别信息。它们在某些方面具有一定的相似性，相互之间有一定的依赖关系。

不同的元路径保存不同的关系结构，在预处理获得基于元路径生成的关系图之后，对每张图进行 L 次基于图卷积的消息传递和聚合操作，分别得到 0 阶、1 阶... L 阶特征，将 L+1 个特征拼接作为该关系图提取到的节点特征，以商品为例（以商品为例，具体见下图所示）。

2.2 跨元路径的聚合网络

通过上述模块，用户获取了三个基于不同元路径关系图的表征信息，商品获取了两个基于不同元路径关系图的特征表示，考虑到不同元路径对节点表示的贡献是不同的（例如获取用户的购买偏好特征，理论上用户行为关系的影响力相对与社交关系以及具有用户行为影响的商品知识信号的影响力要更大），我们提出一个基于注意力机制的聚合层，来执行跨元路径的信息聚合（以商品为例，见下图所示）。

通过对上一步获得的特征做特征非线性变换获取该特征的重要程度，其中采用 tanh 做激活函数，然后再做特征加权聚合，得到最终的包含丰富语义的结点表示。

2.3 基于自监督的互信息学习架构

在将异构关系结构保存并提取到用户和商品的特征空间后，我们的目标是将高阶的交互模式注入到我们的社会化推荐模型中，因此我们设计了一个自监督的互信息学习架构，以捕捉局部节点特征和全局图的依赖关系，构建具有辅助优化目标的监督信号，具体见下图所示。

首先将跨元路径聚合后的用户结点特征和商品结点特征，作为用户-商品交互图的初始节点特征，先做一次基于图卷积的消息传递和聚合操作将交互模式注入到特征空间中，然后通过一阶邻接矩阵计算 k 阶邻接矩阵，进而得到以每个结点为中心的 k 阶子图全局特征，最后最大化中心结点特征和 k 阶子图全局特征的互信息。

此外为了保持图的拓扑信息，我们利用注入交互模式后的结点特征来重构图的边，同时最大化注入交互模式前和注入交互模式后的结点特征间的互信息来增强结点的变换能力。利用最终将获取到的用户特征和商品特征做预测任务，和互信息模块一起联合训练。

实验结果

本文在三个推荐数据集上进行实验与模型的验证，数据集均采集自真实的用户平台，统计信息见 Table 1。本文采用隐式反馈任务常用的 leave-one-out 评测模式，对每个测试用户，选取一个购买商品作为测试集中的正例，另选取 99 个未交互商品作为测试负例，使用 Hit Rate@N 和 NDCG@N 作为评测指标。我们将 SMIN 与多个类别的多个 baseline 方法进行了对比实验，并且展示了模型在推荐任务上的优势。

3.1 对比实验

如 Table 2 所示，在三个数据集上 SMIN 均取得了明显更优的推荐效果。

3.2 消融实验

为了验证 SMIN 各个子模块的有效性，我们对整个模型框架中的可信模块进行了消融实验。相应的实验结果请参见论文中 Table 4。在消融实验中，SMIN-h 指去掉基于元路径的异构图编码模块，SMIN-m 指去掉整个自监督的互信息框架，SMIN-g 指去掉互信息模块中局部特征和 k 阶子图全局特征互信息模块，SMIN-t 指去掉为了保存图的拓扑信息的互信息模块，SMIN-a 指去掉跨元路径融合的注意力机制，换成平均的操作。从结果可以看出，各个模块在整个 SMIN 框架的推荐效果均有一定的促进作用。

同时，我们针对不同元路径关系也进行了消融实验，以探究不同元路径对模型预测的重要程度。实验结果见下图，其中-代表去除元路径。从结果可以看出，每条元路径在整个 SMIN 框架的推荐效果均有一定的促进作用。

3.3 参数实验

我们针对模型超参数进行了学习，在三个数据集上改变超参设定测试模型效果。从结果可以看到，不同数据集上超参设置的表现有所不同。特征维度为 d，我们将 d 从 8 变化到 128。当 d 的数量达到 64 个左右时，模型的性能就会达到饱和，因为更大的特征维度可能会带来更强的表示能力。然而，由于过拟合问题，特征维度的进一步增加导致性能略有下降；图神经网络的层数为 L，我们将 L 从 1 改变到 3 来分析 GNN 层数的影响，同时保持其他参数作为默认设置。

L=2 时模型效果达到最佳，进一步堆叠一层（L=3）性能会变差，这表明我们的异构图体系结构中的二阶连接足以捕获用户和项目之间的多方面关系；互信息模块子结构的 k-hop 相邻关系，我们可以注意到 k=2 时模型性能达到最佳，而通过与高阶（k=3）的全局协作关系进行建模可能会引入一些噪声和不相关的依赖性。

总结

在本文中，我们提出了基于自监督框架的元关系学习网络（SMIN）的社会推荐系统。我们的模型通过元路径引导的异构图神经网络学习用户和商品的社会和知识依赖关系。在四个真实数据集上的实验结果表明，与各种最先进的模型相比，我们的框架具有优势。我们未来的工作包括探索用户和项目的外部属性（例如，用户配置文件、产品图像），以进一步提高性能。

更多阅读