一文浏览近期推荐系统领域最新文献

嘿，记得给“机器学习与推荐算法”添加星标

---

提示：本文章主要是监督自己跟踪前沿工作，有的研究方向我也了解得不多，所以内容可能不会太细致，大家选择性的看看就好。

目录：

• 协同过滤

• CIKM2021 | SimpleX: A Simple and Strong Baseline for Collaborative Filtering

• 图神经网络在推荐系统中的运用

• TOIS2021 | Graph Neural Networks for Recommender Systems: Challenges, Methods, and Directions

• 捆绑推荐

• TKDE2021 | Bundle Recommendation and Generation with Graph Neural Networks

• 短视频推荐

• CIKM2021 | Concept-Aware Denoising Graph Neural Network for Micro-Video Recommendation

• CTR预估

• AAAI2022 | Dynamic Sequential Graph Learning for Click-Through Rate Prediction

• AAAI2022 | DemiNet: Dependency-Aware Multi-Interest Network with Self-Supervised Graph Learning for Click-Through Rate Prediction

• Arxiv2021 | Click-through Rate Prediction with Auto-Quantized Contrastive Learning

• 可解释推荐

• Arxiv2021 | Exploring The Role of Local and Global Explanations in Recommender Systems

• 新闻推荐

• MM2021 | Why Do We Click: Visual Impression-aware News Recommendation

• 序列推荐

• CIKM2021 | Extracting Attentive Social Temporal Excitation for Sequential Recommendation

• CIKM2021 | USER: A Unified Information Search and Recommendation Model based on Integrated Behavior Sequence

• Next-basket推荐

• Arxiv2021 | A Next Basket Recommendation Reality Check

• 其他

• Arxiv2021 | Deep Exploration for Recommendation Systems

• Arxiv2021 | New Hybrid Techniques for Business Recommender Systems

• Arxiv2021 | Review of Clustering-Based Recommender Systems

---

协同过滤

CIKM2021 | SimpleX: A Simple and Strong Baseline for Collaborative Filtering

https://arxiv.org/pdf/2109.12613.pdf

协同过滤（CF）的三个重要分量是：交互建模、损失函数、负采样。虽然许多现有的研究集中在设计更强大的交互编码器，但损失函数和负采样比例的影响尚未得到很好的探索。在这项工作中，作者证明损失函数的选择和负抽样比是同等重要的。更具体地说，作者提出了余弦对比损失(CCL)，并进一步将其纳入一个简单的统一CF模型，称为SimpleX。在11个基准数据集上进行了大量的实验，并与现有的29个CF模型进行了对比。令人惊讶的是，结果表明，在CCL损失和较大的负采样比例下，SimpleX可以超过最复杂的最先进的模型很大的幅度(例如，NDCG@20比LightGCN最大改善48.5%)。作者认为SimpleX不仅可以作为一个简单的强基线来促进CF的未来研究，还可以为改进损失函数和负采样提供潜在的研究方向。

SimpleX模块结构图

几种常见损失函数实验对比结果

图神经网络在推荐系统中的运用

TOIS2021 | Graph Neural Networks for Recommender Systems: Challenges, Methods, and Directions

https://arxiv.org/pdf/2109.12843.pdf

这篇讨论了将图神经网络应用于推荐系统的动机，主要包括高阶连通性、数据的结构特性和增强的监督信号。然后作者系统地分析了图构造、嵌入传播/聚合、模型优化和计算效率方面的挑战。之后，作者首先按照上面的分类法，全面概述了基于图神经网络的推荐系统的大量现有工作。最后，对该领域存在的问题和未来发展方向进行了讨论。

作者在下面链接中总结了有代表性的论文及其代码库：https://github.com/tsinghua-fib-lab/GNN-Recommender-Systems.

一些论文里的表格和方法分类如下所示：

捆绑推荐

TKDE2021 | Bundle Recommendation and Generation with Graph Neural Networks

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9546546

捆绑推荐是一次推荐一个集合的物品给消费者。Bundle相关的工作主要分为两类：一类是推荐平台预构建的Bundle给用户（例如Apple会把iPhone和AirPods捆绑在一起销售）；另一类是生成一个个性化的Bundle给推荐用户（例如Amazon会把iPhone和第三方的耳机进行捆绑）。

现存的问题与本文的解决方案：

• 大多数工作都把这两类分开建模。  这篇文章同时建模两类任务
• 现有的工作只考虑了一个bundle里item间的相关性，而忽略了bundle与bundle的关系。  这篇文章利用高阶图卷积网络也考虑bundle与bundle的关系
• 当用户与捆绑包交互时，决策被忽略。在item层面，尽管用户可能喜欢这个bundle的大部分item，但还是会被他不喜欢的item影响。在bundle层面，用户对两个相似的bundle的选择主要在他们不重叠的那部分item。  这篇文章训练后期采用难样本(Hard Negatives)的方式进行训练

这篇文章用两个图网络来同时生成两种推荐，BGCN（Bundle Graph Convolutional Network）用于预构建的捆绑推荐任务，BGGN（Bundle Graph Generation Network）用于个性化的捆绑生成任务。

BGCN：BGCN依赖于user-item交互、user-bundle交互和bundle-item包含关系构建的异构图。以item节点为桥梁，在user和bundle节点之间进行图卷积传播，使学习的表示捕获item级语义。Hard Negatives: 训练后期，采用与当前正样本bundle有较多重叠的bundle作为难样本来训练。

BGGN：BGGN基于item共现模式和用户监督信号重构图中的捆绑。通过图生成，bundle图中复杂的高阶item-item关系被显式地建模。

短视频推荐

CIKM2021 | Concept-Aware Denoising Graph Neural Network for Micro-Video Recommendation

https://arxiv.org/pdf/2109.13527.pdf

最近，快手、抖音等短视频分享平台已经成为人们生活的主要信息来源。由于这些服务的大流量、短视频寿命和流媒体方式等特点，改进现有的推荐系统以经济有效的方式应对这些挑战变得越来越紧迫。目前短视频推荐存在的挑战包括：

• 现有的多模式提取视觉内容的模型对于短视频分享平台来说是不可行的，因为短视频分享平台具有连续性和大流量的特点。另一方面，利用短视频中表达的丰富故事将有助于最大限度地了解用户的偏好。
• 用户刷短视频时对于“like”或者“comment”等行为很稀疏，即便可以使用用户停留时长，但仍然存在许多误报，阻碍了推荐的有效偏好学习。
• 短视频的生命周期非常短，大多数视频在发布的两天后用户交互都会极少。

本文提出了一种用于短视频推荐的概念感知去噪图神经网络(CONDE：concept-aware denoising graph neural network)。CONDE的目标是建立文本信息（标题、评论）和图神经网络之间的结合，以支持视频内容提取和用户偏好学习。

作者首先用用户节点、视频节点、从视频标题/评论中提取的concept节点组成一个三元异构图。接着，由于并不是视频的每个concept都能很好的表示用户兴趣，所以为了解决图中的噪声信息，作者引入了一个个性化的图去噪阶段，以提取更能反映用户偏好的子图。具体的，CONDE由一个三阶段卷积过程来导出用户和短视频表示。

• warm-up propagation phase：对构建好的三元异构图执行卷积操作。item用图注意力网络来聚合concept的表示，user用图注意力网络来聚item的表示，因此concept的信息能传递到user和item的表示。 ，；同时为了利用协同信息，item也聚合了他的user邻居的表示。也就是说在用户-视频二部图中进一步传播concept语义，丰富短视频特别是长尾短视频的特征表示。 。

• graph denoising phase：很明显，不同的用户会对短视频内容的不同方面感兴趣。此外，虽然我们在上面的聚合中有注意机制，但是不相干的和嘈杂的信息仍然使学习过程复杂化。在这里，作者介绍了一个面向用户的去噪过程，以广度优先搜索的方式过滤item和concept。具体的，作者通过一个GRU网络（GPU的init hidden state来源于warm-up propagation phase）来捕获user与每个item的相关度，然后不重复采样前n个item来反应用户的偏好。另外，用相似的方式进行two-hop计算相关度，选出前n个concept与user邻居来反应用户的偏好。以此得到去噪后的子图。

• preference refinement phase：执行K次去噪操作，将graph denoising phase得到的K个子图的user表示与warm-up propagation phase得到的item表示进行内积计算得到user对该item的偏好。

CTR预估

AAAI2022 | Dynamic Sequential Graph Learning for Click-Through Rate Prediction

https://arxiv.org/pdf/2109.12541.pdf

现有的CTR方法主要是从用户的历史行为中提取用户兴趣。然而，行为序列只包含用户直接交互的物品，受到系统曝光的限制，往往不够丰富，无法反映所有潜在兴趣。在本文中，作者提出了一种新的方法，即动态序列图学习(DSGL)，通过利用与用户或物品相关的局部子图中的协同信息来增强用户或产品的表示。具体来说，作者设计了动态序列图(DSG)，即一个轻量级的子图，它带有历史交互产生的时间戳。在每个评分时刻，我们分别为目标用户和候选物品构造DSGs。在DSGs的基础上，以自下而上的方式进行迭代的图卷积运算，得到目标用户和候选项的最终表示。在图卷积方面，作者设计了一个时间感知的序列编码层，利用交互时间信息和时间依赖性来学习进化的用户和物品动态。

Illustration of Dynamic Sequential Graph for CTR prediction

Framework of the proposed DSGL method.

AAAI2022 | DemiNet: Dependency-Aware Multi-Interest Network with Self-Supervised Graph Learning for Click-Through Rate Prediction

https://arxiv.org/pdf/2109.12512.pdf

最近，一些现有的CTR模型利用用户的历史行为进行多兴趣建模。然而，在之前的工作中，仍然存在两个主要的挑战:(1)原始用户行为序列是嘈杂且相互交织的，难以提取多个核心兴趣。(2)忽略提取的多个兴趣向量之间的潜在相关性，导致信息丢失。

用户在浏览电子商务平台时，通常会有多种兴趣爱好。他当前的行为与短期上下文和长期相似性依赖高度相关。

这篇文章提出DemiNet来解决这两个问题。具体来说，作者首先考虑物品节点之间的各种依赖类型，并执行依赖感知的异构注意力去噪和获得准确的序列物品表示。其次，对于多兴趣提取，在图嵌入的基础上进行多头注意。为了过滤有噪声的物品相关性，增强兴趣提取的鲁棒性，在上述两个步骤中引入了自监督兴趣学习。第三，对多个兴趣进行聚合，将不同兴趣路径对应的兴趣专家分别给出评分，并由一个专门的网络对评分的置信度进行赋值。

Arxiv2021 | Click-through Rate Prediction with Auto-Quantized Contrastive Learning

https://arxiv.org/pdf/2109.13921.pdf

当前的CTR方法在用户交互极为稀少的冷启动场景下效果很不理想。作者认为这个问题是一个自动识别用户行为是否足够丰富，以捕获兴趣进行预测。作者提出自动量化对比学习(AQCL)损失来正则化模型。与以往的方法不同的是，AQCL同时探索实例-实例(instance-instance)和实例-聚类(instance-cluster)的相似性，以增强潜在表示，并自动减少由于量化而给活跃用户带来的信息损失。提出的框架与不同的模型体系结构无关，并且可以以端到端方式进行训练。

Left: Framework of AQCL；Right: Motivation of AQCL.

可解释推荐

Arxiv2021 | Exploring The Role of Local and Global Explanations in Recommender Systems

https://arxiv.org/pdf/2109.13301.pdf

可解释对于提高推荐系统的透明度尤为重要。解释可能是Local的，也就是解释单个推荐结果，也可能是Global的，解释更general的推荐模型。尽管这两种方法得到了广泛的应用，但很少有人对它们相对的益处进行调查。它们是同时为可解释提供相同的好处，还是各自服务于不同的目的?

作者进行了一项30人参与的探索性研究(exploratory study)和一项30人参与的控制性用户研究(controlled user study)，并使用一个论文推荐系统来分析向参与者提供局部、全局或两种解释如何影响用户对系统行为的理解。

作者的结果提供了证据表明：1）这两种解释在解释如何改进推荐方面比单独的使用其中任何一种都更有帮助；2）在识别false positives和negatives方面，两者一起用似乎都不如Global单独使用的有效果；3）当全局解释也可用时，用户更喜欢不那么多样化的局部解释。

新闻推荐

MM2021 | Why Do We Click: Visual Impression-aware News Recommendation

https://arxiv.org/pdf/2109.12651.pdf

印象感知的新闻推荐示例。(a)用户正在浏览的界面。(b)用户在做出点击决定之前，通常已经对新闻标题的语义理解和视觉印象有了一定的了解。(c)基于印象的建议考虑到细粒度的视觉线索和全局结构。

这篇工作旨在模拟这种多模态（例如上图中的图片和标题）的视觉印象信息，以提高点击率预测。作者认为，在用户点击新闻之前，其他的形式，如新闻正文和音乐是无法访问的。当推荐系统将这些模态与用户的利益虚假地联系起来时，可能会得出错误的结论。此外，作者利用布局信息，如相对位置、相对大小和样式，作为多模态融合的指导，为新闻推荐进行了特定的设计。

这篇文章提出IMpression-aware multi-modal news Recommendation framework。IMRec由两个关键部分组成:(1)全局印象模块，它不仅在新闻布局的指导下融合多模态内容特征，还增强了全局item的呈现。(2)局部印象模块，对每个标题词与视觉标题词、视觉图像等其他印象单元之间的相关性进行建模。通过这种方式，IMRec模型以一种细粒度的方式弥合了语义理解和对每个新闻的视觉印象之间的差距。

序列推荐

CIKM2021 | Extracting Attentive Social Temporal Excitation for Sequential Recommendation

https://arxiv.org/pdf/2109.13539.pdf

序列推荐利用历史行为序列能捕获用户的动态兴趣，在学术界和工业界都得到了广泛的研究。但用户的行为序列仅占全部物品的极小比例。近年来，很多工作利用社交信息作为稀疏交互数据的补充，对提升推荐性能很有帮助。现有的结合序列推荐和社交推荐的方式都是间接的利用行为序列（下图的绿线的方式）：

作者认为这种方式是有信息损失的，例如Alice她的朋友在t3时刻Bob买了皮鞋，然后Alice在时间t6买了高跟鞋。如果t3小于等于t6，那么说明Alice买高跟鞋是受到Bob影响的，但如果t3远远小于等于t6，或者t3大于t6，那么说明Alice买高跟鞋受到Bob的影响很小。换句话说，图中橙线部分的方式更能有效、更细粒度的利用社交朋友的历史行为序列。

为了解决这个问题，作者提出了一个Social Temporal Excitation Networks (STEN）来建模用户序列和朋友间的序列交互。

CIKM2021 | USER: A Unified Information Search and Recommendation Model based on Integrated Behavior Sequence

https://arxiv.org/pdf/2109.15012.pdf

目前大多数平台都是训练单独的搜索任务和推荐任务模型，没有利用他们之间的联系和依赖。在本文中，作者认为，联合建模这两个任务将有利于他们双方，并最终提高整体用户满意度。作者在特定的信息内容服务领域研究了这两个任务之间的交互。作者提出首先将用户在搜索和推荐中的行为集成到一个异构的行为序列中，然后利用一个基于统一序列的联合模型来处理这两个任务。

Next-basket推荐

Arxiv2021 | A Next Basket Recommendation Reality Check

https://arxiv.org/pdf/2109.14233.pdf

作者提供了一个评价Next Basket Recommendation(NBR)方法的新角度，围绕重复和探索的区别: Next Basket Recommendation通常由先前消费的物品(即重复物品)和新物品(即探索物品)组成。作者提出了一套度量标准来衡量NBR模型的重复/探索比率和性能。

其他

Arxiv2021 | Deep Exploration for Recommendation Systems

https://arxiv.org/pdf/2109.12509.pdf

作者研究了能从稀疏和延迟反馈中有效学习的推荐系统的设计。深度探索可以在这种情况下发挥重要作用，使推荐系统更快速地评估用户的需求和个性化服务。作者设计了一种基于汤普森采样的算法进行深度探索。作者通过仿真证明，相对于普通推荐系统设计，该算法可以以可扩展的方式大幅放大正反馈率。这些结果表明，作者希望能够启发利用Deep Exploration开发的生产推荐系统的设计。

Arxiv2021 | New Hybrid Techniques for Business Recommender Systems

https://arxiv.org/pdf/2109.13922.pdf

把推荐系统在B2C（movie or shopping推荐平台）应用到B2B服务平台。

Arxiv2021 | Review of Clustering-Based Recommender Systems

https://arxiv.org/pdf/2109.12839.pdf

本文概述了使用聚类的方法作为初步步骤来改进推荐系统总体性能的方法（目前据我所知对基于聚类的推荐算法的综述不多见）。

推荐阅读

RecSys2021最佳论文奖出炉（附教程下载）

基于图嵌入技术的推荐系统长文综述

全链路联动: 面向最终目标的全链路一致性建模

喜欢的话点个在看吧👇