【论文笔记】具有深度注意力网络的协同Bundle（项目组合）推荐- 专知

【论文笔记】具有深度注意力网络的协同Bundle（项目组合）推荐

导读

随着深度学习技术的发展，出现了越来越多的推荐方法。但是，大多数推荐研究都集中在向用户推荐单个项目上，而在许多实际情况中，平台需要向用户显示一组项目，来进行捆绑销售。本文主要介绍在一个名为DAM（Deep Attentive Multi-Task）的推荐方法，旨在对用户与一组项目之间进行交互建模。

论文地址：

https://www.ijcai.org/proceedings/2019/0290.pdf

动机

在现实生活中,许多应用程序需要为用户推荐一套商品（例如旅行包，音乐播放列表），以供整体消费。因此需要构建 Bundle（项目组合）推荐系统，预测用户对于一组商品的偏好。但是传统的将 “bundles ”视为多个“item”的协同过滤（CF）的方法存在如下两个缺点，不能很好的预测用户-bundle之间的交互。

图1 bundle推荐示例

1）项目组合（bundle）由多个（至少两个）项目组成，不能将bundles作为用户-bundles 矩阵中的单独列来运行诸如矩阵分解的协同过滤方法。

2）用户-bundle交互数据比用户-项目交互数据更加的稀疏。

3）利用传统的推荐方法，对于新的bundle很容易造成冷启动问题。

因此，作者提出了新的协同 bundle模型——深度注意力多任务模型（DAM），来解决上述传统CF算法进行bundles推荐的困难。

核心思想

深度注意力多任务模型（DAM）旨在通过适当地合并用户-项目交互矩阵H，从用户-bundle交互矩阵R中学习个性化bundle排名函数。主要包括两部分内容：1）首先通过分解注意力网络来得到用户对构成项目的偏好，并且聚合项目嵌入以形成bundles的嵌入表示（并未使用bundles商品ID进行嵌入）；2）在得到bundle的embedding之后通过多任务学习(用户-bundle交互预测任务与用户-项目交互预测任务)的用户-bundle和用户-项目交互的联合建模，来聚合用户-项目交互，并且在联合模型中共享相同用户嵌入去预测用户-bundle交互与用户-项目交互，将一项任务（用户-项目建模）的收益转移到另一项任务（用户-bundle模型）。

符号表示

用户：U={u_1,u_2,...u_N}

项目：V={v_1,v_2,.......v_M}
bundle：表示项目的组合（至少两个），B={b_1,b_2,......b_K}
i，j，s分别表示用户、项目、bundle的ID
每一组项目b_s表示为 G_s = {g_{s，1}，g_{s，2}，...，g_{s，| bs |}}

| bs | :表示bundle的大小（大于1）

H=[h_{i，j}]：用户-项目交互矩阵
R=[r_{i，s}]：-bundle交互矩阵

Factorized Attention Network

在Bundle推荐中，使用ID对bundle进行编码会使模型难以推广到新的bundle。因此，文中提出使用bundle的组成项目对bundle进行表示，即聚合项目嵌入v_j到bundle中来获得bundles上的嵌入。为了获得bundle中的组成项目在bundle中扮演的不同角色，文中设计了一种自适应加权和运算，将bundle 的 embedding 值b_s表示为：

其中：

α(i, j)表示用户u_i考虑是否与bundle互动时项目v_j的权重

v_j为项目j的embedding

至此，在获得bundle的表示中最重要的就是获得权重α(i, j)，之前的推荐算法（例如ACF中）是将多层感知机（MLP）放在用户嵌入与项目嵌入的上方，将α（i，j）估计为：

其中：

u_i表示用户u_i的embedding

P_u、P_v、z是MLP的参数

丨点击ACF查看ACF框架详解

但是，用户和项目之间的交互本质上是稀疏的，它们很可能遵循低维结构，而MLP的结构无法有效的学习用户-项目之间低维（乘法）关系，因此，作者提出了分解注意力网络（Factorized Attention Network），使用一个低维的模型来参数化α（i，j），即将注意力加权矩阵A = [α（i，j）]分解为低秩模型，然后进行softmax 运算。