中科院深圳先进院：全新知识增强图神经网络实现可解释性推荐｜TKDE 2022

---

  新智元报道  

作者：吴悦 连肇瑞

审核：吕子钰

编辑：好困 LRS

【新智元导读】近日，来自中科院深圳先进院的团队提出了知识增强图神经网络（KEGNN）实现可解释性推荐。定量和定性的结果表明，KEGNN优于现有的方法，在提供精准推荐结果的同时生成人类可读的推荐解释。

近年来，以大数据和深度学习为基础的人工智能展示了卓越的计算能力和学习能力。但深度学习模型通常包含深度嵌套的非线性结构，很难确定具体哪些因素使它做出这样的决定，缺乏决策的可解释性和透明度。

与此同时，由于可解释的建议不仅提高了推荐系统的透明度、可解释性和可信度，而且还提高了用户满意度，可解释性推荐任务受到越来越多研究人员的关注[1]。

而随着深度学习方法和语言处理技术的发展，在提供个性化推荐时，很多方法利用自然语言生成技术生成自然文本解释[2-3]。但是由于数据稀疏性，难以生成高质量的文本解释，可读性差。

另外，因为知识图可以包含更多的事实和联系，一些研究人员利用知识图进行推荐，并通过图推理路径增强推荐的可解释性[4-5]。但基于图路径的方法需要一些前提条件或定义，例如预先定义路径或数据集存在多种类型的关联，同时知识图谱可能包含冗余实体，从而导致同质化推荐结果。 

论文链接：https://ieeexplore.ieee.org/abstract/document/9681226

为此，作者提出了一种新的知识增强图神经网络（KEGNN）实现可解释性推荐。

KEGNN利用外部知识库中的语义知识，从用户、商品和用户-商品交互三个方面学习知识增强语义嵌入。

从用户-商品交互的角度出发，构造用户行为图，并利用知识增强的语义嵌入对用户行为图进行初始化。

然后提出基于图神经网络的用户行为学习和推理模型，该模型通过传递用户的偏好信息，对用户行为图进行多跳推理，从而全面理解用户行为。

最后设计了层次化协同过滤层进行推荐预测，并将拷贝机制与GRU的生成器相结合，生成高质量、人类可读的语义解释。作者已经在三个真实数据集上进行了广泛的实验。实验结果表明，KGNN优于现有方法。

方法

作者提出了知识增强的图神经网络实现可解释性，所提出的方法的体系结构如图1所示。

它主要包括四个模块：知识增强语义表示学习、基于图形神经网络的用户行为学习与推理、层次化协同过滤和文本解释生成。

模块1：为了学习用户、商品和用户-商品交互的语义表示学习，作者按照时间顺序池化聚集了用户和商品评论文档，形成三种类型的文本文档，分别表示为用户、商品和用户-商品交互。

对三种文档进行了进一步的知识增强语义表示学习，图2给出了知识增强语义表示学习模块的结构。

首先，上下文表示部分中先学习词级嵌入表示和语义上下文表示，利用BiLSTM对词级嵌入的顶层进行全局化捕捉，得到层次化语义表示。其次在知识感知中作者利用知识库来增强语义表征学习。

此外，作者用one-hot代表用户/商品编码，采用全连接层映射将稀疏的one-hot表示转换为密集表示作为用户/商品的固有表示，最后，采用多头注意力进一步融合知识感知表示和用户/商品的固有表示输出知识增强的用户/商品/用户-商品交互表示。

模块2：为了全面了解用户偏好，作者设计了一个基于图神经网络的用户行为学习和推理模块，包括用户行为图构建、信息传播层和多跳推理三个步骤，如图3所示。

首先，从用户-商品交互关系，作者构造用户行为图，并且利用知识增强的语义表示初始化用户行为图的节点表示和边表示。

其次，基于图神经网络的架构，作者设计了基于GNN信息传播层捕捉用户行为间的一阶邻接网络(ego-network)的信息传播及信息融合。

最后，采用递归方式利用多跳（multi-hop）推理对图结构的高阶连接信息进行建模。

模块3：作者基于神经协同过滤框架设计层次化神经协同过滤算法，如图4（a）所示，主要包括三层神经协同过滤层实现用户-商品交互预测。

在第一个神经协同层是全连接层，用户行为图学习和推理中获得的用户表示商品表示拼接起来作为输入，输出第一层用户-商品交互表示，如公式1:

（公式1）

在第二层，我们设计了一个关系感知神经网络层，融合用户-商品关系表示和第一层的输出。

采用两种融合方式，分别为阿达玛乘积（如公式2）和全连接层非线性融合（如公式3），分别输出关系感知的用户-商品交互表示和高层次交互表示：

（公式2）

（公式3）

第三层采用关系感知用户-商品交互表示和高层次交互表示作为输入，实现评分预测，如公式4所示：

（公式4）

模块4：结合生成模型和拷贝机制（生成模式和拷贝模式），作者设计一个新颖的文本解释生成模块，生成高质量的人类可读解释。

图4的右侧部分演示了此模块的详细信息。应用循环神经网络GRU作为解释生成器；另外引入拷贝机制从用户原有评论中抽取信息，结合两种模式（生成模式和拷贝模式）生成直观文本解释(词序列)，易于用户阅读理解。

实验

数据集选择

本文使用Amazon5 core的三个数据集，分别是电子、家庭-厨房以及音乐-设备。评级范围为[0,5]。对于所有数据集，作者随机选择每个数据集中80%的用户-商品交互作为训练集，10%的用户-商品交互作为测试集，剩余的10%的用户-商品交互被视为验证集。

评分预测性能

方法对比中，作者将KEGNN与CTR、PMF、NARRE、NRT、GCMC、LightGCN、RippleNet进行对比（计算各个方法的RMSE和MAE），如图所示。

从结果可以看出，对于所有数据集，作者的方法KEGNN在MAE和RMSE上都优于所有比较方法。

解释生成质量

从结果中可以看出，作者方法在精度和F1指标上有着最好的表现，但是召回率却不如CTR或者NARRE。质量评估结果表明，作者生成的文本解释类似于与处理行为相关的基本事实评论，并揭示了处理行为背后的隐含用户意图。作者还在接下来在案例分析中对可解释性进行了进一步调查。

案例分析

作者选择一些案例展示生成解释的可解释性，所选案例均来自测试集，因此，在解释生成过程中隐藏了真实文本，三个数据集的典型案例如上表格所示，Ground表示用户给出的真实评论。

从案例研究中，我们可以看到作者的方法生成的解释说明了用户对评级商品的选择和购买原因。可解释的概念和方面以粗体斜体突出显示，表示用户行为的潜在意图，并展示推荐结果的可解释性。

结论

本文提出了一种基于知识增强图神经网络（KEGNN）的可解释推荐方法，该方法利用外部知识库中的语义知识来增强用户、商品和用户-商品交互三方面的表示学习。

作者构造了一个用户行为图，并设计了一个基于图神经网络的用户行为学习和推理模块，用于全面理解用户行为。

最后，利用GRU生成器和拷贝机制相结合生成语义文本解释，利用层次化神经协同过滤实现精准推荐。详细内容请参见论文细节。

导师简介

吕子钰博士现任中国科学院深圳先进技术研究院副研究员，2016 年于香港大学计算机系获得博士学位，主要研究方向包括推荐系统、自然语言处理、多模态数据挖掘等。

在知识挖掘及推理方面具有丰富的研究经历，主要在时空数据，社交网络、流文本数据，多模态数据的知识挖掘和推理方向均有实际的工作经验和深入的研究。

目前在知识挖掘及人工智能国际著名会议及期刊上（CCF A/B类）发表 20 余篇论文，包括 SIGIR、AAAI、SDM、CIKM 、TKDE等。目前为中国中文信息学会信息检索专业委员会通讯委员、青年工作委员会委员。

个人主页： https://sites.google.com/site/crystalziyulu

吕子钰老师课题组欢迎各位同学报考及联系，招聘类别包括：即将参加硕士生保研及夏令营推免的同学（2023年入学），客座学生（已完成课程的本科生、研究生，长期招聘），2023年考研等。感兴趣同学可以发送简历到zy.lv@siat.ac.cn

参考资料：

[1] Y. Zhang and X. Chen, “Explainable recommendation: A survey and new perspectives,” Foundations and Trends® in Information Retrieval, vol. 14, no. 1, p. 1–101, 2020.

[2] P. Li, Z. Wang, Z. Ren, L. Bing, and W. Lam, “Neural rating regression with abstractive tips generation for recommendation,” in SIGIR, 2017, p. 345–354.

[3] C. Chen, M. Zhang, Y. Liu, and S. Ma, “Neural attentional rating regression with review-level explanations,” in WWW, 2018, p. 1583–1592.

[4] H. Wang, F. Zhang, J. Wang, M. Zhao, W. Li, X. Xie, and M. Guo,“Ripplenet: Propagating user preferences on the knowledge graph for recommender systems,” in CIKM, 2018, p. 417–426.

[5] X.Wang, D.Wang, C. Xu, X. He, Y. Cao, and T. Chua, “Explainable reasoning over knowledge graphs for recommendation,” in AAAI, 2019, pp. 5329–5336.