会员服务 ·

ECML-PKDD20 | 基于时序异质交互图表示学习的商品推荐

2021 年 2 月 12 日 专知

作者：北邮 GAMMA Lab 博士生吉余岗

题目： 基于时序异质交互图表示学习的商品推荐

会议： ECML-PKDD 2020

论文代码：

https://github.com/yuduo93/THIGE

在商品推荐场景中，早先的方法通过建模序列交互的演化来刻画用户兴趣。这些方法在建模复杂动态性方面具有局限性，忽视了长期行为习惯对短期兴趣的影响；忽视了用户和商品之间交互行为的类型，只考虑单一的、短期的交互行为。在本文中，我们将复杂异质的动态交互行为构建为时序异质交互图（Temporal Heterogeneous Interaction Graph, 简称为THIG）进而同时学习用户兴趣和商品表示用于商品推荐。本文提出了一种时序异质图上的表示学习方法，称之为THIGE，充分建模交互行为的异质性，刻画不同类型的兴趣偏好，并融合长、短期兴趣构建用户、商品表示。最后，在3个真实数据集上验证模型的有效性。

1 引言

随着电子商务平台的出现和持续发展，我们的生活和购物模式发生了根本性地变化。在电商平台中，推荐系统通过分析用户历史行为数据，构建用户兴趣偏好，进而推荐合适商品，显著提升了用户的购物体验。

早先的方法从协同过滤角度（Collaborative Filtering, CF）来建模用户行为，往往忽视了交互行为的动态特性。然而，用户的时序行为往往表示了兴趣的持续演化，如图1所示，Tom当前的需求是笔记本，而在不考虑行为的时序特征时会被误认为是书包。近年来，循环神经网络（Recurrent Neural Networks, RNN)，如LSTM和GRU等，被广泛用于建模序列行为的演化。然而，RNN模型在建模长序列时往往存在梯度消失、计算代价昂贵等短板、往往只能建模近期的需求、而难以归纳历史行为习惯。此外，用户的历史习惯往往对于当前的行为具有潜在的影响，购买决策不仅取决于当前需求，也受到用户对于品牌、颜色、设计风格等多方面的历史偏好的影响。

由此，引出了第一个挑战：如何有效建模包含历史习惯和动态需求的复杂动态特征。在本文中我们将历史习惯视为长期兴趣，将动态需求视为短期兴趣，同时设计注意力机制来考虑历史习惯对当前行为的影响。

图1. 用户时序交互行为样例

与此同时，另一个问题是，用户和商品之间存在点击、收藏、加入购物车和购买等多种类型的交互行为，蕴含了丰富的结构信息，不同类型的交互行为刻画了用户的多方面偏好和商品的流行度。如图2所示，Hua对于B2品牌的商品更有兴趣，而显然，在男生中也更受欢迎。

图2. 时序异质交互图

异质图是建模异质结构信息的通用途径，异质网络嵌入和图神经网络是主流的异质图表示学习方法。然而，当前的模型如Metapath2vec、GATNE、HAN等只能建模静态的特征，不能建模动态交互的演化。此外，这些模型往往独立看待不同类型的行为而忽视了类型之间的潜在关联。另一方面，当前的动态图表示学习如CTDNE、TGAT等主要聚焦于同质图，不能考虑交互的类型特征。

第二个挑战是：如何充分利用时序异质交互建模多种类型的偏好。本文提出了时序异质交互图来从异质性和动态性维度建模图数据，同时刻画用户和商品的多种演化特征。同时，本文设计了异质多头注意力机制来建模不同类型交互之间的潜在关联，更好地利用异质性。

2 方法

如图3所示，时序异质图表示学习模型THIGE主要由时序特征建模、短期兴趣建模、长期兴趣建模等部分构成。我们首先选取近期的行为作为短期行为，而对历史数据进行采样得到长期行为数据。

图3. THIGE模型

时序特征建模：我们设计了Embedding Layer来建模交互行为的时间特征。首先，将不同类型的节点属性信息基于不同的映射矩阵映射到相同空间，即；其次，计算交互发生的时间到当前时间的时间间隔，通过时间桶映射函数将该时间间隔映射为离散的时间段的id编号，则该连续时间特征可以表示为向量，则节点特征表示为。在短期兴趣中，我们进一步地将交互类型作为特征融合到节点的表示向量，得到: ，其中表示交互的序列编号。

基于行为习惯指导的短期兴趣建模：用户的近期行为反应了用户需求的变化，给定用户近期的个行为，我们通过GRU来构建用户的需求演化特征，即：

针对短期兴趣建模，考虑到短期行为往往受到长期习惯的影响，这里我们将长期习惯作为key，短期行为作为queries构建基于注意力机制的短期兴趣，短期兴趣表示为

其中，表示习惯指导的注意力权重，即：

因此，如何建模有效的长期兴趣是本文的第二个关键点。

基于异质交互的长期兴趣建模：考虑到用户和商品之间存在多种交互行为，这些不同行为刻画了多种潜在偏好以及偏好之间的潜在关联，我们的目标是充分编码多方面长期偏好的潜在相关性。给定用户的长期交互行为，我们通过异质聚合器来针对不同类型的交互行为分别建模节点表示，即：

一种简单的思路是直接独立看待不同类型的长期兴趣，联合构成一个整体的长期兴趣。然而，长期兴趣中存在多种潜在兴趣，如风格、品牌等；不同类型的交互行为之间具有潜在的相关性，如点击和购买之间的潜在相关特征。我们提出了异质自注意力机制来刻画不同类型长期兴趣之间的关联性。

考虑到长期兴趣存在多种类型的兴趣点，这里我们将兴趣划分为多个部分，分别对每个部分利用自注意力机制进行增强表示，即异质多头注意力机制。最后融合多种赠钱的潜在偏好为：

最终，融合多种长期兴趣建模为：

用户偏好建模：到目前为止，我们同时建模了用户的长期兴趣和短期兴趣，考虑到用户还存在固定的特征信息，我们建模用户的最终表示为：

商品偏好建模：商品的时序交互往往和用户侧的存在较大的不同。实际上，在电商平台上，同一时间段往往存在多个用户和某一商品交互，而这些用户之间并不具有明显的演化特征。换句话说，直接建模商品的长期偏好更加合理。因此，类似于用户的长期偏好，我们建模商品偏好为：

$\textbf{h}_v = \sigma(\textbf{W}_v[\textbf{x}_v\oplus\textbf{h}^{(L)}_v] + b_v)$ 模型优化：针对商品推荐问题，给定用户和商品的兴趣偏好表示，则预测给定时间下用户和商品交互的概率为：

我们通过最小化交叉熵损失值

从而优化模型参数。其中，表示用户和商品之间的交互，1表示交互，0表示无交互。此外，我们通过L2范式来约束参数优化，保证鲁棒性。

3 实验

我们在Yelp、CloudTheme和Taobao的用户行为数据上进行商品/商店推荐预测。数据集主要信息如下：

图4. 数据集统计信息

在商品推荐中，我们和近期具有代表性的序列模型（DIEN & STAMP）、长短期模型（SHAN & M3R）和异质图表示学习模型（MEIRec & GATNE）进行比较，定量评价指标为F1、PR-AUC和ROC-AUC，值越大则性能越好。实验结果如下所示：

图5. 商品/商店推荐定量评价

从实验结果来看：

我们的模型普遍取得了更好的性能，ROC-AUC指标提升0.51%～5.84%。
和序列模型、长短期模型相比，本文提出的方法可以充分地建模交互的异质性和时间特征，因此取得了更好的效果。
和异质图模型相比，THIGE的主要优势是充分考虑了不同类型交互之间的潜在关联，并建模长短期兴趣。

变种实验对比：我们针对长短期融合、注意力机制的有效性和时间建模的有效性，设计了多个变种模型来进行对比。即只考虑长期建模中异质多头注意力机制的THIGE(hm)和只考虑短期注意力中的习惯指引注意力机制的THIGE(hb)；只考虑长期兴趣的THIGE(L)和只考虑短期兴趣的THIGE(S)；以及不考虑时间信息的HIGE。图6的实验结果充分验证了模型设计的有效性。