SIGIR'21 | 推荐系统中的多关系图神经网络

©原创 · 作者 | 黄超、夏良昊

单位 | 香港大学计算机学院

研究方向 | 数据挖掘, 信息检索

研究背景

个性化推荐系统（Recommender Systems）作为解决信息过载的有效技术，已经被广泛运用于各类线上应用系统，比如电子商务以及在线视频平台。在当前的推荐系统技术中，协同过滤逐渐演变成为非常重要的模型框架用于通过用户历史的交互行为学习复杂的用户兴趣爱好。其中基于深度学习框架的推荐算法通过有效地学习用户和商品的表征信息，已经为大量的实际推荐平台强劲助力。

近年来，基于图神经网络的深度学习模型的引入给协同推荐方法带来了明显的效果提升。但是，现有的方法大多只针对单类别的用户与商品的交互关系（如点击、购买）进行建模，而忽略了推荐场景中用户多行为的特性。例如，在一个典型的电商平台上，同一个用户和商品的交互关系可能会是多重类别的，其中包括浏览、加购物车、收藏、购买等多种交互关系，不同交互行为赋予了用户和商品之前关联性不同的语义信息，从而可以使得对用户。

在该研究工作中，我们通过对用户复杂的多行为模式进行探索有效地提升推荐效果。然而，运用多行为交互数据来刻画用户复杂的兴趣面临着诸多挑战。首先，用户与商品间的多重交互关系具有行为异构特性，每种行为各自包含不同的语义。例如，不同行为一般反映出不同的用户偏好程度，点击通常只意味着用户对商品具有初步且较为模糊的兴趣，而购买则代表着用户较强的偏好。

同时，行为类别间存在复杂的关联性，使得多行为交互数据的建模变得更加复杂。例如，在电商平台中，添加购物车和收藏对很多用户来说是相近的交互选项，两者具有互补关系；添加购物车往往意味着用户即将购买。

更具挑战的是，对不同用户来说，上述行为异构性常常有所差别，例如有的用户倾向于浏览商品后直接决定是否购买，而有的用户习惯将候选商品添加购物车后统一购买。因此，如果对用户多行为交互模型进行有效地个性化建模，将是该工作所面临的重要挑战。

论文标题：

Graph Meta Network for Multi-Behavior Recommendation

论文作者：

夏良昊 (华南理工大学)，许勇 (华南理工大学)，黄超 (香港大学)，戴鹏 (京东硅谷研发中心)，薄列峰 (京东硅谷研发中心)

论文来源：

SIGIR 2021

论文链接：

https://dl.acm.org/doi/pdf/10.1145/3404835.3462972

代码链接：

https://github.com/akaxlh/MB-GMN

 

模型介绍

为了应对上述挑战，从复杂的多行为关系中提炼出用户和商品有效的表征，本文提出 MB-GMN（Multi-Behavior with Graph Meta Network），将元学习和图神经网络相结合。MB-GMN 分为三个模块，分别是：多行为模式编码（Multi-Behavior Pattern Encoding）、元图神经网络（Meta Graph Neural Network）、以及元学习迁移网络（Meta-Knowledge Transfer Network）。

通过提取用户、商品、行为类别的元知识，MB-GMN 可以生成定制化网络参数，捕捉基于行为的用户和商品特征信息。同时，本文采用图卷积神经网络提取用户、商品的高阶邻域信息，从而得到各个行为下的平滑表示。最后，MB-GMN 使用元学习网络得到跨行为预测器，进行多个源-目标预测任务，通过多任务学习框架对模型的表征学习能力进行优化。

2.1 多行为模式编码

首先，我们所提出的 MB-GMN 架构使用元学习器构建特定行为下的用户与商品的表征信息。基于全局的可学习表示向量、以及一阶邻居集合（如下图所示），元学习器将对原始表示向量进行拼接和线性转换操作，提取出的元知识包含了特定行为、特定用户/商品、以及该行为下该用户与商品的领域关联信息。基于这一元知识，MB-GMN 可以通过多层感知机生成这一特定情境下的网络参数，对目标用户与商品的全局表征信息进行变换，从而得到个性化的向量表示。

这里，为了防止定制化过程过于复杂，使模型训练出现过拟合，MB-GMN 不直接生成定制化所需的变换矩阵，而是生成两个低秩的分解矩阵，使用两次低秩矩阵乘法完成一次变换操作。其具体的分解优化操作如下图所示：

2.2 基于元学习的图神经网络

得到上述定制化的用户和商品的表征之后，MB-GMN 基于各个行为类别的邻接矩阵，分别进行 L 次基于图卷积的消息传递操作，以利用历史交互记录对用户和商品的表征进行平滑。在推荐场景中，当有 K 个行为类别时，将得到 K 个只与单个行为相关的平滑的用户与商品的表征信息。在图卷积网络中，MB-GMN 使用点的度矩阵进行 normalization，并采用 LeakyReLU 激活函数。

除了分别使用不同行为类别的邻接矩阵，为了综合提取用户/商品的交互特征，MB-GMN 也将所有行为数据汇聚构建为一个异构图，另外进行一组异构图卷积特征提取。在每次异构图卷积迭代时，MB-GMN 首先进行一次上述同构图卷积操作，得到各个行为类别的平滑特征，再应用多头自注意力机制计算各个行为之间的相关性，最后使用相关性矩阵，对各个行为的表示向量进行修正与更新，从而得到综合考虑了不同行为信息的用户与商品的表征信息。

2.3 基于元学习的迁移网络

通过上述模块，MB-GMN 获取了对应 K 个行为类别的用户与商品表征信息，以及综合利用所有行为数据的用户/商品表示，共（K+1）组表示。在预测阶段，本文提出进行多任务学习以更好地进行参数优化。这里，一个训练任务即为：使用第 k 组表示预测用户、商品在第 k 个行为下的关系。因此，预测部分需要对 (K+1)*K 个任务进行学习。

为了在上述过程中更好地提取不同行为间的语义迁移关系，MB-GMN 应用一个元学习器来提取特定行为下用户和商品的信息，以及源行为类别和目标行为类别之间的关系。

如下图所示，元学习器首先使用 映射，分别对源行为和目标行为下，用户和商品的表示进行融合，经过线性变换和非线性操作，分别得到源行为和目标行为的相关知识。接着使用同样的操作对源行为和目标行为的元知识进行蒸馏，得到当前预测任务的知识。接下来，MB-GMN 据此生成预测网络中所需的参数 ，以源行为的用户、商品表示为输入，进行当前任务的预测。

实验结果

本文在三个多行为推荐数据集上进行实验与模型的验证，数据集均采集自真实的大规模电商平台，统计信息见 Table 1。本文采用隐式反馈任务常用的 leave-one-out 评测模式，对每个测试用户，选取最后一个购买商品作为测试集中的正例，另选取 99 个未交互商品作为测试负例，使用 Hit Rate@N 和 NDCG@N 作为评测指标。我们将 MB-GMN 与 6 个类别的 14 个 baseline 方法进行了对比实验，并且展示了模型在推荐任务上的优势。

3.1 对比实验

如 Table 2 所示，在三个数据集上 MB-GMN 均取得了明显更优的推荐效果。同时我们观测到，考虑用户多种行为类别的方法，如 MATN、MBGCN 取得了优于普通协同过滤方法的效果。

3.2 消融实验

为了验证 MB-GMN 各个子模块的有效性，我们对整个模型框架中的可信模块进行了消融实验。相应的实验结果请参见 Table 4。在消融实验中，w/o 代表去除特定模块，LowR 指第一个模块中的低秩参数矩阵分解，MFeat 指第二个模块中综合所有交互类别的图卷积网络分支，MTask 指第三个模块的多任务学习，MetaC 指第一个模块中的元学习器，MetaP 指第三个模块中预测时的元学习器。从结果可以看出，各个模块在整个 MB-GMN 框架的推荐效果均有一定的促进作用。

同时，我们针对不同行为类别也进行了消融实验，以探究不同行为类别对模型预测的重要程度。实验结果见下图，其中-代表去除某个行为类别，+buy 代表只保留作为目标行为的购买数据，pv 代表 page view 浏览详情页操作，fav 代表 favorite 收藏操作，cart 代表 add-to-cart 加购物车操作。

从结果可以看出，+buy 模型总是表现最差，说明了辅助行为对购买预测的重要性。在各个辅助行为中，去除 pv 行为造成了最大的效果衰退，说明了 pv 数据对 MB-GMN 模型的重要性。我们认为这很可能来源于 pv 数据较大的规模，它既可以作为丰富的行为特征数据，也可以为模型学习提供充分的辅助监督信息。

3.3 模型在稀疏数据上的优势

接下来，我们进一步评测 MB-GMN 与部分 baseline 方法在不同稀疏度的数据上表现如何。我们将 Taobao 数据集划分为 5 个子数据集，每个子数据集的交互数相等。下图中柱状图描绘 5 个子数据集的用户数量，折线图则表现各个方法的测试结果，x 轴坐标代表对应子数据集中单个用户的最大交互数，从左到右数据集由稀疏变得稠密。可以看出，MB-GMN 在不同稀疏度上均取得了较好的效果。

同时我们注意到，大部分使用用户与商品的邻域信息进行特征提取的方法均没有受到明显的稀疏度影响，而不使用邻域信息的 BiasMF 和 NCF-G 则表现出在稀疏的数据集上效果差、在稠密的数据集上效果好的趋势。

3.4 参数实验

我们针对模型超参数进行了学习，在三个数据集上改变超参设定测试模型效果。从结果可以看到，不同数据集上超参设置的表现有所不同，有的数据集在隐藏层维度或图卷积迭代次数较大时出现过拟合现象，在有的数据集上默认参数则一定程度上限制了模型学习能力。

3.5 样例学习

最后，本文进行样例学习，以探究不同行为之间的关系。我们将多任务学习中不同任务的预测准确性进行可视化，随机抽取了部分用户，可视化使用不同源行为对不同目标行为进行预测的准确性，并计算了所有样例的平均预测准确度，结果如下图所示。可以发现，对不同用户来说，各个任务的预测准确性有所不同。

此外，使用点击行为作为源行为进行预测，可以得到更高的预测准确性，这一现象与行为类别消融实验相符，应当是由于点击行为数据较多，可以提供充分的信息进行特征提取。同时，可以发现各个源行为都能更好地对购买行为进行预测，我们认为这归因于购买行为语义明确、易于预测。

与之相对，预测点击行为的准确性较差，而购买行为作为源行为时准确性也较低。这两个现象应当是由于点击行为所蕴含的用户倾向较为复杂、模糊，难以预测，而购买行为数量较少，作为特征数据不能提供充分的信息。

总结

在本工作中，我们探索了用户多行为模型下的推荐系统，以有效地学习不同行为之间的个性化交互模式。我们所提出的推荐模型框架 MB-GMN 通过元学习提取用户个性化信息并注入到基于图迁移学习的框架中，从而可以对用户复杂的兴趣爱好进行学习并进行更准确的推荐。我们希望该工作中的研究成果可以为接下来多行为推荐系统的探索提供一些指导意义。

 

参考文献

[1] B.Jin, C.Gao, X.He, D.Jin, and Y.Li. “Multi-Behavior Recommendation with Graph Convolutional Networks. In ACM SIGIR. 659–668.2020.

[2] L.Xia, C.Huang, Y.Xu, P.Dai, B.Zhang, and L.Bo. “Multiplex Behavioral Relation Learning for Recommendation via Memory Augmented Transformer Network”In ACM SIGIR,2397–2406.2020.

[3] X.Wang, X.He, M.Wang, F.Feng, and T.Chua.“Neural Graph Collaborative Filtering”. In ACM SIGIR,165–174,2019.

[4] Y.Cen, X.Zou, J.Zhang, H.Yang, J.Zhou, and J.Tang.“Representation learning for attributed multiplex heterogeneous network”In ACM KDD. 1358–1368.2019.