CIKM2021 ｜ 基于条件注意力网络蒸馏精炼的知识图谱推荐系统

推荐系统根据用户商品的历史交互记录来为用户找到最符合他们个性化兴趣的商品。然而推荐系统这种基于用户商品交互网络的任务的共同问题是数据稀疏性。用户行为和用户商品交互记录相对于商品的规模来说都是非常有限的。此外，对新到来的用户很难给他们推荐商品。为了克服这些困难，现在很多研究提出将外部信息引入推荐系统，比如属性，文本，图像等。通过外部信息建立原始推荐系统中实体之间的联系，衡量它们之间的潜在相似度，缓解网络稀疏性带来的问题。

作者提出用知识图谱来帮助提升推荐系统的效果。知识图谱中不仅包含节点的特征，还包含节点的连接关系。和传统网络不同，知识图谱由一系列三元组组成，也就是<起始实体，关系，终止实体>。它不但可以描述节点属性 ,也可以描述节点之间的关系。如今，有非常多的超大规模的知识图谱被发布，比如Wordnet，Freebase，DBpedia。这些图谱描述了事实和常识，它们通常可以和大多数网络应用中的部分节点对齐并作为网络应用的外部知识。它们通过引入实体之间的联系，增强实体的信息以及产生可解释性来帮助推荐系统。然而，由于知识图谱的一般性和巨大的规模，大多数知识实际上对于目标用户商品的预测是没有帮助的。如何有效地对知识图谱进行蒸馏以便维持目标相关的知识关系是将知识图谱引入推荐系统的关键问题。

现有的知识图谱相关的推荐算法可以分为两类，基于表征和基于路径的方法:

基于表征的方法首先通过知识图谱表征学习算法得到实体和关系的表征，然后将这些隐层表征引入推荐系统。然而，知识图谱表征学习算法更多地关注于复杂的语义关联，它更适用于网络内任务比如链接预测，而不是推荐。因此，基于表征的方法不能完全地捕捉用户商品连接的复杂语义，也不能区分知识关系是否与目标任务相关联。

基于路径的算法从知识图谱中探索很多条路径来构建两个实体之间的联系。它们通常将知识图谱看作是一个异构信息网络，然后预先定义很多元路径来提取目标节点对之间的相似度。不同路径之间的不同权重反映了知识图谱中用户的偏好。但是由于路径长度的限制，它们丢失了全局关系。此外，这些方法通常非常依赖于元路径的设计，所以不能直接应用于新的数据中。 为了克服这些限制，作者认为一个好的知识依赖的网络表征学习方法应该满足下面的性质: (1) 全局相似度保持。知识图谱的巨大规模使得衡量实体之间的全局相似度变得非常困难。此外，图卷积神经网络递归地聚合邻居的特征来更新节点表征。在若干次迭代之后，模型可以将局部信息传播到全局。作者提出引入图卷积神经网络到知识图谱中。 (2)局部知识蒸馏。学习目标用户的偏好通常都是局部而且多样的。因此 本文利用基于目标用户商品的子图而不是多条独立的路径。子图可以包含更丰富的拓扑结构信息以及上下文信息。它可以在一个局部子图而不是全量庞大知识图谱中挖掘更精确的目标偏好。此外，不同的目标用户商品对可能对知识图谱中的关系有不同的偏好。基于注意力的图算法可能对图中的边学到不同的权重，但是边的注意力只依赖于它连接的两个节点而不依赖于目标节点。比如，在图1中， 相对于 更偏好“starred”关系，但是“starred”边在基于注意力的模型中对于这两个节点的注意力是一样的。