Deep learning has brought great progress for the sequential recommendation (SR) tasks. With advanced network architectures, sequential recommender models can be stacked with many hidden layers, e.g., up to 100 layers on real-world recommendation datasets. Training such a deep network is difficult because it can be computationally very expensive and takes much longer time, especially in situations where there are tens of billions of user-item interactions. To deal with such a challenge, we present StackRec, a simple, yet very effective and efficient training framework for deep SR models by iterative layer stacking. Specifically, we first offer an important insight that hidden layers/blocks in a well-trained deep SR model have very similar distributions. Enlightened by this, we propose the stacking operation on the pre-trained layers/blocks to transfer knowledge from a shallower model to a deep model, then we perform iterative stacking so as to yield a much deeper but easier-to-train SR model. We validate the performance of StackRec by instantiating it with four state-of-the-art SR models in three practical scenarios with real-world datasets. Extensive experiments show that StackRec achieves not only comparable performance, but also substantial acceleration in training time, compared to SR models that are trained from scratch. Codes are available at https://github.com/wangjiachun0426/StackRec.


翻译:深层学习为顺序建议(SR)任务带来了巨大进展。 随着先进的网络结构, 序列建议模式可以堆叠许多隐藏层, 例如, 在真实世界建议数据集中高达100层的隐藏层。 如此深层次的网络培训非常困难, 因为它可以计算非常昂贵, 并且需要更长的时间, 特别是在有数百亿用户- 项目互动的情况下。 为了应对这一挑战, 我们向StackRec展示了一个简单但非常有效且高效的培训框架, 通过迭接层堆叠来为深层SR模型。 具体地说, 我们首先提供一个重要的洞察力, 在训练有素的深层SR模型中, 隐藏层/ 块的分布非常相似。 由此, 我们提议在预先培训的层/ 块上进行堆叠操作, 将知识从更浅的模型转移到更深层的用户- 项目互动, 然后我们进行迭接叠, 以便产生一个更深得多但更方便到更低的 SR 模式。 我们通过即时验证 StackRec 。 在三种实用的SR模型中, 我们首先提供四个最先进的结构模型, 而不是真实- Restal- track track 。

7
下载
关闭预览

相关内容

图像超分辨率(SR)是提高图像分辨率的一类重要的图像处理技术以及计算机视觉中的视频。
专知会员服务
5+阅读 · 2021年6月27日
【干货书】Python 编程,480页pdf
专知会员服务
233+阅读 · 2020年8月14日
【微众银行】联邦学习白皮书_v2.0,48页pdf,
专知会员服务
165+阅读 · 2020年4月26日
【WWW2020-华为诺亚方舟论文】元学习推荐系统MetaSelector
专知会员服务
55+阅读 · 2020年2月10日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
开源书:PyTorch深度学习起步
专知会员服务
50+阅读 · 2019年10月11日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
24+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
已删除
将门创投
4+阅读 · 2018年6月12日
【推荐】深度学习情感分析综述
机器学习研究会
58+阅读 · 2018年1月26日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
9+阅读 · 2021年6月16日
Arxiv
4+阅读 · 2018年4月26日
Arxiv
9+阅读 · 2018年1月30日
Arxiv
5+阅读 · 2017年11月13日
VIP会员
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
24+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
已删除
将门创投
4+阅读 · 2018年6月12日
【推荐】深度学习情感分析综述
机器学习研究会
58+阅读 · 2018年1月26日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员