使用上下文信息优化CTR预估中的特征嵌入

2021 年 8 月 20 日 机器学习与推荐算法

今天给大家分享一篇来自微博的点击率预估论文，借鉴NLP领域的ELMO和Bert的思想，提出了一种使用上下文信息来优化特征嵌入的CTR预估框架，一起来看一下。

1、背景

特征交互的学习对于CTR预估模型来说是至关重要的。在NLP领域中的ELMO和Bert模型，通过单词在句子中的上下文环境来动态调整单词的embedding表示，取得了多项任务的效果提升。受到此思路的启发，论文提出了名为ContextNet的CTR预估框架，该框架可以基于样本信息对embedding进行优化，同时能够有效的建模特征之间的高阶交互信息。接下来，在第二节中对ContextNet进行详细介绍。

2、ContextNet介绍

2.1 整体介绍

ContextNet的整体结构如下图所示：

如上图所示，ContextNet包含两个主要的部分，分别为contextual embedding module 和 ContextNet block。contextual embedding module主要是对样本中的上下文信息（所有特征）进行聚合，并将这些上下文信息映射为与embedding同样长度的向量。ContextNet block则是进行embedding合并和非线性变换。接下来，分别对这两部分进行介绍。

2.2 Feature Embedding

在介绍主要的两部分之前，简单介绍下特征embedding的处理，对于离散特征，首先转换为对应的one-hot向量，随后转换为对应的embedding，对于连续特征，这里采用的处理方式为field embedding，即同field的连续特征共享同一个embedding，并使用特征值进行缩放（更多关于对连续特征embedding的处理方式，可以参考本系列的第118篇文章）。

最终，特征embedding层的输出计作E：

2.3 Contextual Embedding

前面也提到，contextual embedding module的主要作用包含两方面：对上下文信息进行聚合以及对聚合的上下文信息进行映射，得到每一个特征的contextual embedding。Contextual embedding module的网络结构如下图所示：

可以看到，主要包含了两层的网络，第一层可以看作是聚合层，第二层是映射层，用如下的数学公式进行表示：

Contextual embedding module针对每一个特征，都会得到一个对应的Contextual embedding，那么为了平衡参数数量和模型表达能力，对于聚合层的参数，采用参数共享的方式，而对于映射层的参数，则是每个特征都有其对应的单独的参数，有点类似于多任务学习中的share-bottom结构。

2.4 ContextNet Block

从模型的整体架构图可以看出，ContextNet包含多层的ContextNet Block，每一层的Block主要做两件事情：embedding合并和非线性变换。其数学表示如下：

上式中，E i l代表第l个ContextNet Block的输出，同时也是第l+1个ContextNet Block的输入，E i l+1代表第l+1个ContextNet Block的输出，CE i l+1为第l+1层的Contextual embedding module的输出，也就是说，Contextual embedding module并不是只在第一层存在，而是每一层都有的（不过每一层的Contextual embedding module可以通过参数共享的方式来减少模型的参数）。

那么合并和非线性变换具体是如何实现的呢？首先来看embedding合并部分，这里采用的是Hadamard积的方式：