会员服务 ·

WSDM2022 | 基于双曲几何无标度图建模的知识感知推荐算法

2022 年 8 月 2 日 机器学习与推荐算法

嘿，记得给“机器学习与推荐算法”添加星标

作者：刘祖龙

单位：南京邮电大学

来源：MIND Laboratory

论文标题：

Modeling Scale-free Graphs with Hyperbolic Geometry for Knowledge-aware Recommendation

收录会议：

WSDM 2022

论文链接：

https://arxiv.org/abs/2108.06468

代码链接：

https://github.com/yankai-chen/LKGR

本文介绍

为了缓解传统推荐系统中的冷启动与数据稀疏问题，近年来，向推荐系统中引入外部知识构建知识图谱受到了越来越多的关注。此外，由于图神经网络在提取图数据特征方面的强大性能，一些研究将推荐系统与 GNN 结合了起来。基于 GNN 的知识图谱推荐模型通常将用户-物品历史交互与外部知识图谱的交互统一为三部图，然而在数据统一之后，这些三部图通常呈现出无标度（或层次）图的特点，如图 1（a）所示，两项基准数据集的度分布近似于幂律分布。

而现有研究表明，对于树状（幂律分布）数据，欧式空间将会获得较高的失真，同样地，传统的基于欧式空间的图嵌入方法可能无法有效地捕获无标度网络的内在层次结构，从而使得节点嵌入高度失真，最终降低了推荐的性能。

现有研究表明双曲空间，即具有指数增长特性的连续树形空间，对具有层次数据结构或无标度网络结构数据可产生较少的失真，如图 1（b）所示，在双曲空间中，靠近图中心的节点距离较小，而靠近图边界的节点距离较大。为了解决上述问题，本文提出了基于的双曲几何洛伦茨模型的知识感知推荐模型，简称为 LKGR。

相关定义

2.1 知识图谱

知识图谱一般可定义为三元组

，r 表示连接实体 1 与实体 2 的关系，知识图谱一般被用来提供项目的外部知识；而用户-项目的交互关系可表示为，表示用户与项目之间的所有交互行为（如浏览，点击，购买等）；将用户行为与项目外部知识结合到统一知识图（UKG）中，可表示为：

如图 2（a）所示。

2.2 双曲几何

双曲几何是一种非欧几里得几何，其具有恒定的负曲率，测量集合物品如何偏离平面。本文使用洛伦茨模型来建模双曲几何空间。

2.2.1 洛伦茨流形与切平面

令下式表示双曲空间中的洛伦茨内积：

表示带有恒定曲率 -1/c 的 d 维洛伦茨流体，其以 x 为中心的欧几里得空间切平面表示为

，切平面是洛伦茨流体在 x 处的局部一阶近似，其对于在双曲空间中执行图卷积操作很有用。

2.2.2 指数与对数映射

双曲空间与切平面空间可以由指数映射与对数映射相互对应，给定

，指数映射

，对应的对数映射将投影回到切平面空间，具体表示为：

LKGR模型

本文的 LKGR 模型整体框架如图 2（b）所示，具体包括编码层，洛伦茨卷积层以及预测层。

3.1 编码层

在进行后续的卷积操作之前，需要先将欧式空间中的嵌入表示映射到洛伦茨流形上，具体可表示为：

其中，为在切平面空间的 d 维向量，向量表示洛伦茨流形中的原点，o 被用作执行切空间操作的参考向量。此处曲率 -1/c 为可训练的参数，其动态地衡量嵌入空间的层次结构。

3.2 洛伦茨卷积层

3.2.1 洛伦茨流形上的注意力机制

本文提出了一种注意力机制，其考虑了洛伦茨流形上知识三元组的局部结构，首先计算实体 h，t 之间关系 r 下边的注意力权重，表示为：

归一化表示为：

此注意力机制基于节点嵌入 h,t 以及权重矩阵 Wr，使得 LKGR 可以自动权衡邻居的不同贡献，从而进行有效的传播与聚合。

3.2.2 洛伦茨消息传递

为了在洛伦茨流形上传播邻域信息，需要分别计算用户和物品邻域的洛伦茨线性组合。如图 2（a）所示，由于用户仅仅与物品有交互行为，用户 u 的邻域表示了其历史交互信息，故其消息传递可表示为：

类似地，物品与用户以及外部知识相连，故其消息传递可表示为：

3.2.3 洛伦茨邻域聚合

在获得了上文提到的邻域信息后，需要对其进行聚合，并更新用户及物品嵌入。本文利用了三种聚合方式以实现邻域聚合：

① 累加聚合：对输入求和，并进行非线性变换，然后洛伦茨流形上进行激活：

其中，A 和 b 为在相应切平面空间中可训练的权重与偏置。

② 拼接聚合：将输入向量拼接，表示为：

③ 邻域聚合：直接将输入特征输出为节点表示：

给定 A 与 b，上文三种邻域聚合中的洛伦茨线性变换可表示为：

激活函数表示为：

3.2.4 高阶知识提取

如图 2（b）所示，为了进一步探索 KGS 中的高阶信息，并将远程知识传播到条目中，可以探索多跳子图，并相应地在 LKGR 中叠加更多的传播层。首先需要对物品 i 进行 l 跳子图采样，以获得其在知识图谱中的高阶子图；然后从 l 跳子图传播知识，并迭代聚合到节点 i。例如，e 为物品 i 在知识图谱中的 l 跳邻居，在 l 跳的传播中，通过探索 e 的邻接子图来表示 e’ 的邻居表示，具体表示为：

3.3 预测层及优化

3.3.1 预测层

在传统的基于嵌入的匹配模型中，内积和 L2 距离被广泛采用。本文利用学习得到的用户和物品的双曲表示，在双曲空间中取内积以估计它们之间的匹配分数，表示为：

3.3.2 模型优化

令

表示用户与物品之间的正交互集合，即

，

表示负采样得到的负交互集合，

。本文 LKGR 模型的损失表示为：

本文方法 LKGR 的整体算法框架如算法 1 所示。

实验

本文实验使用的数据集为推荐系统中三项基准数据集，数据集具体如表 1 所示。

本文方法与基线方法的实验对比如表 2 所示，本文模型基本取得了最好的效果。

图 3 展示了 topk 推荐任务下本文算法与基线算法的性能对比。

本文的消融实验如表 3 所示，消融实验分别研究了用户物品之间消息传递（IS），物品的外部知识提取（KE），双曲空间（HG）以及注意力机制（LKA）的影响。

本文方法的时间分析如图 4 所示。

本文总结

本文提出了一个 KG- 增强的推荐模型，即 LKGR，该模型学习用户和物品的嵌入，以及 KG 实体在双曲空间中的嵌入。本文在洛伦兹流形上提出了一种知识感知的注意机制来区分图节点的信息量贡献，然后通过多层聚集来实现高阶信息传播。在三个基准数据集上的实验结果不仅验证了 LKGR 相对于最近最先进的解决方案的性能改善，而且还证明了所有提出的模型组件的有效性。