The embedding-based representation learning is commonly used in deep learning recommendation models to map the raw sparse features to dense vectors. The traditional embedding manner that assigns a uniform size to all features has two issues. First, the numerous features inevitably lead to a gigantic embedding table that causes a high memory usage cost. Second, it is likely to cause the over-fitting problem for those features that do not require too large representation capacity. Existing works that try to address the problem always cause a significant drop in recommendation performance or suffers from the limitation of unaffordable training time cost. In this paper, we proposed a novel approach, named PEP (short for Plug-in Embedding Pruning), to reduce the size of the embedding table while obviating a drop in accuracy and computational optimization. PEP prunes embedding parameter where the pruning threshold(s) can be adaptively learned from data. Therefore we can automatically obtain a mixed-dimension embedding-scheme by pruning redundant parameters for each feature. PEP is a general framework that can plug in various base recommendation models. Extensive experiments demonstrate it can efficiently cut down embedding parameters and boost the base model's performance. Specifically, it achieves strong recommendation performance while reducing 97-99% parameters. As for the computation cost, PEP only brings an additional 20-30% time cost compared with base models. Codes are available at https://github.com/ssui-liu/learnable-embed-sizes-for-RecSys.


翻译:嵌入式代表学习通常用于深层学习建议模型,以绘制密度矢量的原始稀疏特性。传统的嵌入方式给所有特性都定出一个统一的大小,有两个问题。首先,许多特性不可避免地导致一个巨大的嵌入表,导致内存使用成本高。第二,它可能会给那些不需要过多代表能力的特征造成不适当的问题。试图解决问题的现有工作总是导致建议性能显著下降,或者受到无法负担的培训时间成本限制的影响。在本文件中,我们提出了一个名为PEP(Plug-rebedib-rebedib-rebed Prurning)的新颖方法,以缩小嵌入表的大小,同时避免精确度和计算优化的下降。PEP Ppress 嵌入参数,在从数据中可以适应性能地学习修整阈值阈值的阈值。因此,我们可以通过运行每个特性的冗余参数,自动获得混合式组合式嵌入式嵌入式-制。PEPEP是一个可以在各种基础建议模型中插入的通用框架。广泛实验显示其精度的精确度,同时将精度递增的P-99基础成本计算,同时将可降低运行的运行成本模型。

1
下载
关闭预览

相关内容

可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
129+阅读 · 2020年5月14日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
LibRec 精选:连通知识图谱与推荐系统
LibRec智能推荐
3+阅读 · 2018年8月9日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Arxiv
92+阅读 · 2020年2月28日
Arxiv
3+阅读 · 2020年2月12日
Arxiv
9+阅读 · 2018年1月30日
VIP会员
相关VIP内容
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
129+阅读 · 2020年5月14日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
Top
微信扫码咨询专知VIP会员