【KDD2020-Google】神经输入搜索的大规模深度推荐模型

大部分的深度学习模型主要包含如下的两大模块：输入模块以及表示学习模块。自从NAS[1]的出现以来，神经网络架构的设计上正在往数据驱动的自动机器学习方向演进。不过之前更多的研究都是聚焦在如何自动设计表示学习模块而不是输入模块，主要原因是在计算机视觉等成熟领域原始输入（图像像素）已经是浮点数了。

输入模块：负责将原始输入转换为浮点数； 表示学习模块：根据输入模块的浮点值，计算得到模型的最终输出；

而在推荐、搜索以及广告工业界的大规模深度模型上，情况却完全不同。因为包含大量高维稀疏的离散特征（譬如商品id，视频id或者文章id）需要将这些类别特征通过embedding嵌入技术将离散的id转换为连续的向量。而这些向量的维度大小往往被当做一个超参手动进行设定。

一个简单的数据分析就能告诉我们嵌入向量维度设定的合理与否非常影响模型的效果。以YoutubeDNN[2]为例，其中使用到的VideoId的特征词典大小是100万，每一个特征值嵌入向量大小是256。仅仅一个VideoId的特征就包含了2.56亿的超参，考虑到其他更多的离散类特征输入模块的需要学习的超参数量可想而知。相应地，表示学习模块主要包含三层全连接层。也就是说大部分的超参其实聚集在了输入模块，那自然就会对模型的效果有着举足轻重的影响。

Google的研究者们在最新的一篇论文[3]中提出了NIS技术（Neural Input Search），可以自动学习大规模深度推荐模型中每个类别特征最优化的词典大小以及嵌入向量维度大小。目的就是为了在节省性能的同时尽可能地最大化深度模型的效果。

并且，他们发现传统的Single-size Embedding方式（所有特征值共享同样的嵌入向量维度）其实并不能够让模型充分学习训练数据。因此与之对应地，提出了Multi-size Embedding方式让不同的特征值可以拥有不同的嵌入向量维度。

在实际训练中，他们使用强化学习来寻找每个特征值最优化的词典大小和嵌入向量维度。通过在两大大规模推荐问题（检索、排序）上的实验验证，NIS技术能够自动学习到更优化的特征词典大小和嵌入维度并且带来在Recall@1以及AUC等指标上的显著提升。

https://dl.acm.org/doi/10.1145/3394486.3403288