Facebook深度个性化推荐系统经验总结(阿里内部分享PPT))

深度推荐系统已经在很多互联网大厂得到了实际广泛的应用,在他们的实践过程中也有很多工程算法经验积累下来.Facebook的各位研究员将其深度个性化推荐系统的经验总结成了下面这篇文章<Deep Learning Recommendation Model for Personalization and Recommendation Systems>.

这篇文章对于一些刚刚开始接触推荐尤其是工业界推荐系统的人有非常好的启蒙作用.作者接触推荐几个月踩了很多坑,后来看了这篇文章才发现:前人已经将很多坑和经验进行了很好的总结. 

Houye：工业界推荐系统必读论文：基于深度学习的推荐模型—DLRM zhuanlan.zhihu.com

我在仔细研读这篇文章之后也在阿里搜索推荐事业部的实习小组进行了分享,整个分享PPT如下.

最后是一个初学者的一些看法:

• 为什么DLRM不做大做深（NN部分结构只用2~3层）？

• 防止过拟合？本文没有用任何正则。但是从实验结果看，DLRM在Kaggle上是有轻微过拟合的。

• 在线预测时候有速度要求。Embedding部分可以提前训练好，预测部分要实时预测。所以交互预测部分不要做的太复杂。

• 对超大数据集的学习能力是否足够？

• 输入通常是高维稀疏的，看上去很复杂，实际携带的信息有限。所以小网络足够。

• 个人猜测。虽然前面的Embedding矩阵非常大，但是不同的行的EmbeddingVector可能大幅相似。例如，n个user的Embedding矩阵（n可能上亿），但是user的人群特性/偏好可能只有100种。所以，NN部分只要区分100种UserEmbedding并进行预测，不需要太强的能力。

• 关注问题还是模型？

• DLRM主要是利用特征信息。但是，在实际业务场景下，还有很多辅助信息（结构信息，时序信息，位置信息）。能充分利用辅助信息并针对业务场景优化的推荐模型也许会大幅超越DLRM。

推荐阅读


AINLP年度阅读收藏清单

薅当当羊毛的机会又！双！！叒！！！叕!!!来了


中文命名实体识别工具（NER）哪家强？


学自然语言处理，其实更应该学好英语


斯坦福大学NLP组Python深度学习自然语言处理工具Stanza试用


太赞了！Springer面向公众开放电子书籍，附65本数学、编程、机器学习、深度学习、数据挖掘、数据科学等书籍链接及打包下载


数学之美中盛赞的 Michael Collins 教授，他的NLP课程要不要收藏？


自动作诗机&藏头诗生成器：五言、七言、绝句、律诗全了

模型压缩实践系列之——bert-of-theseus，一个非常亲民的bert压缩方法


这门斯坦福大学自然语言处理经典入门课，我放到B站了

征稿启示 | 稿费+GPU算力+星球嘉宾一个都不少


关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区，专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享，主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等，欢迎关注！加技术交流群请添加AINLPer(id：ainlper)，备注工作/研究方向+加群目的。