STAM: 一种基于GNN推荐的时空聚合方法

STAM: 一种基于GNN推荐的时空聚合方法 | 论文荐读

2022 年 4 月 7 日 学术头条

作者：

Zhen Yang, Ming Ding, Bin Xu, Hongxia Yang and Jie Tang. STAM: A Spatiotemporal Aggregation Method for Graph Neural Network-based Recommendation. In Proceedings of the ACM Web Conference 2022(WWW’22).

Paper：

http://keg.cs.tsinghua.edu.cn/jietang/publications/WWW22-Yang%20et%20al.-STAM-GNN.pdf

Code & Data:

https://github.com/zyang-16/STAM

由于图神经网络（GNN）在图数据学习方面的优越性，基于 GNN 的推荐将用户-商品的交互信息建模为二部图，并利用 GNN 将空间结构信息整合到嵌入表示中。大量基于 GNN 的推荐工作研究了 GNN 的聚合方式，从空间结构信息的角度学习用户和商品的嵌入表示。然而，现有的聚合方式更侧重于如何利用图的空间结构信息，忽略了邻居的时间信息。这是一个重要的信号，对基于GNN 的推荐中的聚合有着很大贡献，但并未在邻居嵌入表示学习中进行编码。

在之前的基于 GNN 的推荐中，邻居聚合方法仅涉及空间结构信息，而忽略了邻居的时间信息，无法捕获用户的动态兴趣。电子商务平台的基本功能是收集丰富的用户行为历史以及时间信息。然而，之前基于 GNN 的推荐中的聚合方法尚未充分利用这些时间信息来学习高质量的嵌入表示，并且只能展示用户的内在兴趣。为了充分理解这项工作的动机，我们给出了一个 STAM 示例来展示时间信息在基于 GNN 的推荐中的重要性。如下图所示，推荐系统在基于空间聚合中为Amy 和 Sherry 推荐相同的商品，而在基于时空的聚合中推荐不同的商品。在基于时空的聚合方法中，将时间信息整合到邻居嵌入学习中，其中时间顺序在捕获用户的动态兴趣和用户集群随时间的变化方面起着至关重要的作用。

为了将时间信息整合到邻居嵌入学习中，STAM 利用 Scaled Dot-Product Attention 来捕获一阶邻居的时间顺序，并利用多头注意力机制在不同的潜在子空间上执行联合注意力。STAM 的整体架构如下图所示，它以时间序列 Tu 和 Tv 作为输入，输出一阶邻居的时空邻居嵌入表示。STAM 是一种时空聚合方法，从空间结构和时间顺序两个角度同时学习邻居的嵌入表示。我们将 STAM 应用到基于 GNN 的推荐中来学习用户和商品的嵌入表示。与基于 GNN 的推荐类似，我们堆叠多个 STAM 以捕获用户-商品二部图中的高阶交互信息。然而，当从一阶邻居逐层传播时空邻居嵌入表示时，STAM 将遭受成倍增加的内存消耗。为此，我们从时空邻居嵌入表示中学习一个时空注意力权重矩阵，并将其整合到邻接矩阵中进行用户/商品的嵌入表示学习。

STAM 不改变基于 GNN 推荐的框架，可以很自然地插入到现有的基于 GNN 的推荐模型中。我们将 STAM 应用于基于 GNN 的推荐，并将其推荐性能与具有代表性的基于 GNN 的模型进行比较。实验结果表明，STAM 在 MRR@20 上的平均相对增长超过了目前最佳基线，例如在 MovieLens 带来了 24% 的性能提升，在 Amazon 上实现了 8% 的性能增长，在 Taobao 上优于最佳基线 13%。性能提升的原因来自于在邻居聚合中考虑了时间信息的影响，验证了时间信息对于邻居聚合方法的重要性。