WSDM 2023 | HGCL: 探索推荐系统中的异质图对比学习

@Paperweekly 原创 · 作者 |  陈梦如

单位 |  华南理工大学

研究方向 | 推荐系统

论文题目：

Heterogeneous Graph Contrastive Learning for Recommendation

收录会议：

WSDM 2023

论文链接：

https://arxiv.org/abs/2303.00995

代码链接：

https://github.com/HKUDS/HGCL

港大数据智能实验室

https://sites.google.com/view/chaoh

研究背景

近年来，图神经网络（GNNs）已经被广泛应用于推荐系统中，以编码图结构中存在的用户和商品之间的关系信息。其关键思想是聚合邻居信息来更新节点特征，并通过图网络层进行消息传递。然而，很多基于 GNN 的协同过滤模型仅编码同构的交互关系，且只在单一的用户-商品关系图上进行。而在现实推荐场景中，包含多种重要语义关系的复杂图结构（也称为异构图信息网络）是无处不在的，例如可能存在社交关系和基于商品知识的商品之间的连接关系。

因此许多研究者尝试基于功能强大的图神经网络去设计异构图学习模型，可以将其丰富的语义关系信息图编码成潜在的表征。但是异构图神经网络模型表征学习的潜在能力受限于稀疏的标签信息，可能导致产生质量不高的用户和商品的特征表示。

作为可以解决数据稀疏问题的技术，对比自监督学习能从无标签的数据中学习潜在的数据结构关系利用数据增强方法。其与图神经网络的结合称之为图对比学习也已经成为提升表示学习鲁棒性的有效方法。图对比学习的通用做法是研究两个图对比视角的特征表示的一致性。使正样本之间的特征相似性最大化而其余的负样本特征的距离推远。受之启发，我们利用图对比学习的潜在能力增强协同过滤的特征学习。

但是直接使用它来实现异构图关系学习是具有挑战性，因为辅助信息域视角和用户-商品交互信息域视角之间的依赖关系不是固定的而是多样性的。例如，由于样本个性化特质和各式的特定于用户的行为模式导致不同的用户受朋友影响是不同的。从而盲目的增强用户的偏好特征学习没有考虑每个个体行为的特性会带来模型的次优化效果。总之，此模型需要解决以下两个问题：1）如何实现有效地跨关系视角的知识转换；2）如何实现个性化增强的异构图对比学习。

模型介绍

本文提出了一个新颖的异构图对比学习框架，具体介绍如下。

2.1 基于异质图关系的特征学习

本文采用基于图神经网络的异构图对比学习框架，与其他异构图特征学习方法不同的是，它不依赖于人工设计的元路径或随机游走等方式来学习节点特征的相似性，而是分别对不同的语义关系编码形成图邻接矩阵。在每层网络的输出中，通过跨关系视图的特征融合获取潜在的高阶语义信息，并输出用户和商品在两个协同关系下的特征表示。

2.2 跨视图的元学习神经网络

我们的模型旨在通过引入用户社交关系和商品之间的连接关系来增强协同过滤。然而，这些额外的关系对于不同的用户具有不同的影响，因此我们采用个性化的知识转换网络来从辅助信息域视角获取特定知识，以指导特定用户偏好的学习。我们提出了一个跨视图的元神经网络，可以实现定制化的关系协同知识学习机制。整个实现过程主要分为元知识提取和跨视图的个性化知识转换两个部分。

元知识提取是为了构建个性化的特征映射机制函数，从辅助域视角（user-user，item-item）到目标交互行为域视角（user-item）。简单来说，元知识提取就是针对每个参与个体，基于其个体特质信息和特定的行为模式，通过映射函数对辅助域信息与目标域特征之间的依赖关系或者影响进行隐含的量化。在用户和商品方面，元知识提取方法如下：

本文中设定的元知识包含了两个待转换关系视角的信号依赖相关的上下文知识表示，例如对于用户方面，其元知识包含了用户特征表示、用户所交互过的商品特征表示以及目标交互信息的表示。商品侧同理。联合这三个维度的特定语义信息，产生的元知识可以很好地折射出极其重要且相关的上下文信息，有助于实现跨视图的特征个性化转换。

经过元知识学习器（两层全连接层网络）学习后，提取到的元知识会为每个个体产生一套特定的参数矩阵，可作为知识转换网络的特定参数，实现个性化的特征转换。为了减少参数量，本文采用矩阵因式分解方法生成两个维度小于原始特征维度的矩阵。

接下来，我们利用输出的参数矩阵和非线性映射函数来构建模型的特定化转换网络，针对每个样本，实现对辅助域特征表示的个性化转换，从而对齐目标域特征空间。

上述过程针对跨视图用户特征的特定化计算方法。商品特征的特定化也采用了相同的方式。元神经网络的训练通过滤除从辅助视角到用户-商品视角匹配过程中的噪声信号，使其可以有效地训练。

2.3 异质图对比学习的增强

我们方法采用异质关系图中多视图关系（用户侧：社交关系图的用户特征和交互关系图的用户特征；商品侧：商品属性关系图的商品特征和交互关系图的商品特征）。跨视图的特征对比学习也增强了模型特征和关系的学习和鲁棒性，归因于其产生的更多的监督信号来解决数据稀疏性问题。

对辅助域特征进行个性化转换后对齐于用户-商品交互视角的特征空间，辅助域视角的特征充当了有效的正则化项来促进用户-商品交互行为的建模利用自监督信号。而且对齐方式是自适应的通过元神经网络的个性化映射函数。

将对齐后的辅助域特征，而不是原始异质关系学习模块输出的辅助域特征，与交互关系视角的特征进行对比学习，用户侧的 InfoNCE 损失函数表达式：

同理，我们可以得到商品侧的对比学习损失。

实验结果

在三个常用的数据集（Yelp、Epinions 和 Ciao）上，我们进行了实验，并与多种类型的推荐算法模型进行了比较。

从对比结果来看，引入自监督学习方法（如 Heco, MHCN, SMIN）可以使模型的效果得到提升，而本文所提出的 HGCL 相比较于使用传统的对比学习方法，推荐性能进一步提升，也表明了本文所描述方法的有效性。我们做了消融实验来进一步验证引入特定化的异构图对比学习方法是必要的且有利于模型效果的提升。

观察消融实验结果，我们可以发现 HGCL 模型在推荐性能上优于去除对比学习模块的 w/o-cl 模型。同样，使用对比学习方法但消除元神经网络部分的 w/o-meta 模型在性能上也低于 HGCL 模型。

这些结果符合我们的预期，表明考虑特定于用户或商品的个性化知识转换对异构图特征学习是有益的。观察 w/o-ii 和 w/o-uu 的实验结果，进一步证实了引入异构辅助信息有助于增强用户喜好特征的学习。为了评估 HGCL 模型在不同稀疏度情况下的表现，我们进行了稀疏度实验，与另外5个基准模型进行对比。

实验结果图清楚地表示了我们模型在不同数据稀疏情况的较好的模型表现，模型效果的优越性可能来自于模型中基于跨视图知识转换的对比学习的作用，因为它可以有效地捕捉到特定于用户的社交关系的影响和特定于商品的语义相关性。

进一步地，我们对模型学习到的个性化对比转换参数矩阵（ ）进行了可视化实验。主要是通过实例验证受朋友影响程度更多（）和影响程度更少的用户（）的个性化转换参数矩阵的值是否符合模型的设定。

模型通过结合异质图对比学习和元神经网络，实现了自适应的跨视图对比数据增强，以适应用户个性化的特质。实验结果表明，模型能够成功捕捉用户之间的差异，并根据这些差异进行相应的调整数据增强，从而进一步提升推荐性能。

总结

本文针对推荐任务中可能存在的异质关系表示学习问题，提出了一种新颖的对比学习框架。模型通过考虑协同对比视图间的关系影响的知识转换，实现了一种自适应的方式，从而应对特定个体和特质的行为差异性。这种方法充分利用了个性化对比学习策略，有助于增强表征学习的区分性，进而提高模型的性能和鲁棒性。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·