推荐召回算法之深度召回模型串讲

Youtube DNN召回

但凡Google工业界出品，必属精品。这篇论文也不例外，自从2016年提出以来备受万众瞩目甚至被奉为推荐领域集算法模型与工业实践神级大作。虽然在深度学习已经成为工业界常规操作的今天回头来看这篇论文的算法架构并不觉得有特别惊艳的地方，但是仍然是工业界效果上当之无愧的主流算法与强有力的baseline。

原始论文主要介绍了Youtube推荐架构的召回和精排各自相应的深度网络结构两个部分内容，因为本文着重串讲召回模型所以专注于第一部分召回层的部分。自底向上查看如下的网络结构：

特征输入层包含了三部分内容：用户观看过的video的embedding向量、用户搜索词的embedding向量以及用户的地理位置年龄等静态特征；这里的embedding向量作者是用word2vec类方法预先生成的。
线下模型训练阶段，三层ReLU神经网络之后接到softmax层，也就是说在这里作者建模为为用户推荐下一个感兴趣视频的多分类问题，输出是在所有候选视频集合上的概率分布。
线上预测阶段，考虑到召回的高性能需求首先通过userId找到相应的用户向量，然后使用KNN类方法找到相似度最高的N条候选结果返回。

可以看出模型整体的思路可以认为是传统协同过滤思路的扩展。传统的UCF强调相似的用户感兴趣的物品也相似；传统的ICF强调对物品A感兴趣的用户，可能也对物品A相似的物品同样感兴趣。所以传统的UCF和ICF实际上是分别构造了用户向量空间和物品向量空间，在任何一个向量空间找到相似性都可以进行推荐。

而YoutubeDNN则学习统一的（用户、物品）向量空间来代替原来的两个独立的向量空间，使用深度网络将用户、物品映射到这个统一的低维向量空间来发现学习更高阶的用户物品相似性。

DSSM语义召回

DSSM模型是微软2013年发表的一个关于query/ doc的相似度计算模型，后来发展成为一种所谓”双塔“的框架广泛应用于广告、推荐等领域的召回和排序问题中。依然我们自底向上来看一下如下的网络结构：

首先特征输入层将Query和Doc（one-hot编码）转化为embedding向量，原论文针对英文输入还提出了一种word hashing的特殊embedding方法用来降低字典规模。我们在针对中文embedding时使用word2vec类常规操作即可；
经过embedding之后的词向量，接下来是多层DNN网络映射得到针对Query和Doc的128维语义特征向量；
最后会使用Query和Doc向量进行余弦相似度计算得到相似度R，然后进行softmax归一化得到最终的指标后验概率P，训练目标针对点击的正样本拟合P为1，否则拟合P为0；

可以看到DSSM的核心思想就是将不同对象映射到统一的语义空间中，利用该空间中对象的距离计算相似度。这一思路被广泛应用到了广告、搜索以及推荐的召回和排序等各种工程实践中。

RNN序列召回

基于用户session中的点击序列进行建模召回有很多种方式，其中使用RNN深度网络结构来刻画是其中比较有代表性的一种。相应的网络结构其实很简单，如下图所示。使用用户session中的点击序列作为模型输入，输出则为用户下次点击的item相应的得分。

首先，输入点击序列中的每一个item都被one-hot编码，然后紧接embedding层，再然后是N层的GRU单元，经过最后一层全连接层得到用户下次点击的item相应的概率。详细的Demo代码可以参见：github.com/Songweiping/

TDM深度树匹配召回

TDM模型是阿里巴巴于2018年提出的新一代深度召回模型，试图通过结合树结构搜索与深度学习模型来解决召回的高性能需求与使用复杂模型进行全局搜索与之间的平衡。它将召回问题转化为层级化分类问题，借助树的层级检索可以将时间复杂度降到对数级。即认为用户对某节点的兴趣是大于等于其叶子节点的，所以只需在每层选出topk，且在下一层仅计算上一层选出来的节点相应子节点的兴趣，对于规模为M的语料库，只需要遍历 2 * k * logM个分支就可以在完全二叉树中找到topk的推荐结果。

这样使用树层级检索的好处就是打分模型可以尽可能的复杂对用户兴趣进行精准建模。论文中使用的深度网络将用户历史行为按时间进行切分，分为多个时间窗口。每个时间窗口内的每一个item都与树节点计算关联性权重，得到attention分布，然后每个时间窗口内再计算平均权重，接着将多个时间窗口得到的特征拼接起来，通过三层全连接层以及一层softmax层得到用户对这个节点感兴趣的概率。

训练过程是首先固定TDM树，训练深度网络得到新的节点向量；然后使用新的向量又可以通过聚类等方法重新构建一个TDM树；然后再固定TDM树重新训练深度网络，如此迭代优化，最终可以得到一个高性能且稳定的模型。