一文尽览推荐系统模型演变史(文末可下载)

2020 年 6 月 28 日 AINLP

前言

1. 本次整理方式为时间线的形式,未来可能从其他视角和维度进行整理。

2. 由于本人知识有限,对于未出现在下文的推荐模型并不代表不经典,欢迎大家补充。

3. 文中提及的模型都标有对应参考文献,具体细节可阅读论文原文。

4. 整理此文的目的是给大家一个清晰的脉络,可当作一篇小小综述。从信息过载概念的提出到推荐系统的起源,从前深度学习时代的推荐系统到劲头正热的深度推荐系统,再到最后对于深度学习技术带来的推荐系统性能提升的质疑,每个阶段都是必不可少的。

5. 希望推荐系统领域未来仍然可以在曲折中前进。
6. 提前祝大家端午节快乐

结尾

1. 回看推荐发展的30年,尽管前进的路上有过批评、有过怀疑,但一直在进步。
2. 至于推荐系统未来的发展何去何从,需要我们每个当前参与的人一起努力。

3. 也希望后人再总结的时候发现推荐系统在大方向上一直在茁壮成长。

参考文献

[1] Gross et al. The Managing Organizations: The Administrative Struggle. 1964.

[2] Karlgren et al. An Algebra for Recommendations.1990.

[3] Goldberg et al. Using collaborative filtering to weave an information tapestry.1992. 

[4] User-based CF of Netnews GroupLens: An Open Architecture for Collaborative Filtering of Netnews. 1994.

[5] Balabanovic et al. Fab: Content-based, collaborative recommendation.1997.

[6] Daniel et al. Learning Collaborative Information Filters. ICML,1998.

[7] Sarwar et al. Item-based collaborative filtering recommendation algorithms. WWW, 2001.

[8] Linden et al. Amazon.com recommendations: Item-to-item collaborative filtering. IEEE INTERNET COMPUT, 2003.

[9] Lemire et al. Slope One Predictors for Online Rating-Based Collaborative Filtering, SDM, 2005 .

[10] Bell et al. The BellKor solution to the Netflix Prize.2007.

[11] Simon Funk. Netflix Update: Try This at Home:https://sifter.org/~simon/journal/20061211.html, 2006.

[12] Ruslan et al. Restricted Boltzmann Machines for Collaborative Filtering,ICML, 2007.

[13] Mnih et al. Probabilistic matrix factorization. NIPS, 2008.

[14] Ma et al. Sorec: social recommendation using probabilistic matrix factorization. CIKM, 2008.

[15] Rendle et al. BPR: Bayesian personalized ranking from implicit feedback. UAI, 2009.

[16] Jamali et al. Trustwalker: a random walk model for combining trust-based and item-based recommendation. KDD, 2009.

[17] Koren et al. Matrix factorization techniques for recommender systems. Computer, 2009.

[18] Rendle. Factorization machines. ICDM, 2010.

[19] Ning et al. SLIM: Sparse linear methods for top-n recommender systems. ICDM, 2011.

[20] Ma et al. Recommender systems with social regularization. WSDM, 2011.

[21] Huang et al. Learning deep structured semantic models for web search using clickthrough data. 2013.

[22] Zhao et al. Leveraging social connections to improve personalized ranking for collaborative filtering. CIKM, 2014.

[23] He et al. Practical lessons from predicting clicks on ads at facebook. 2014.

[24] Sedhain et al. Autorec: Autoencoders meet collaborative filtering. WWW, 2015.

[25] Guo et al. TrustSVD: Collaborative Filtering with Both the Explicit and Implicit Influence of User Trust and of Item Ratings. AAAI, 2015.

[26] Barkan et al. Item2vec: neural item embedding for collaborative filtering. 2016.

[27] Covington et al. Deep Neural Networks for YouTube Recommendations. 2016.

[28] Cheng et al. Wide & Deep Learning for Recommender Systems. 2016.

[29] Shan et al. Deep crossing: Web-scale modeling without manually crafted combinatorial features. KDD, 2016.

[30] Yuchin et al. Field-aware Factorization Machines for CTR Prediction. RecSys, 2016.

[31] Zhang et al. Deep Learning over Multi-field Categorical Data. UCL, 2016.

[32] Yanru et al. Product-based Neural Networks for User Response Prediction. ICDM, 2016.

[33] Kim et al. Convolutional Matrix Factorization for Document Context-Aware Recommendation. RecSys, 2016.

[34] Hidasi et al. Session-based Recommendations with Recurrent Neural Networks. 2016.

[35] He et al. Neural collaborative filtering. WWW, 2017.

[36] Guo et al. Deepfm: A factorization-machine based neural network for ctr prediction. IJCAI, 2017.

[37] Hsieh et al. Collaborative metric learning. WWW, 2017.

[38] Gai et al. Learning Piece-wise Linear Models from Large Scale Data for Ad ClickPrediction, 2017.

[39]He et al. Neural Factorization Machines for Sparse Predictive Analytics. 2017.

[40] Xiao et al. Attentional factorization machines: Learning the weight of feature interactions via attention networks. IJCAI, 2017.

[41] Hsieh et al. Collaborative metric learning. WWW, 2017.

[42] Lei et al. Joint Deep Modeling of Users and Items Using Reviews for Recommendation. WSDM, 2017.

[43] Ruoxi et al. Deep & Cross Network for Ad Click Predictions. ADKDD, 2017.

[44] Ying et al. Graph Convolutional Neural Networks for Web-Scale Recommender Systems. KDD, 2018.

[45] Lian et al. xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems. KDD, 2018.

[46] Chen et al. Sequential Recommendation with User Memory Networks. WSDM 2018.

[47] Hongwei et al. RippleNet: Propagating User Preferences on the Knowledge Graph for Recommender Systems. CIKM, 2018.

[48] Zhou et al. Deep interest network for click-through rate prediction. KDD, 2018.

[49] Zhou et al. Deep interest evolution network for click-through rate prediction. AAAI, 2019.

[50] Huafeng et al. Deep Generative Ranking for Personalized Recommendation. Recsys, 2019.

[51] Xiang et al. Neural Graph Collaborative Filtering. SIGIR, 2019.

[52] Zhi-Hong et al. DeepCF: A Unified Framework of Representation Learning and Matching Function Learning in Recommender System. AAAI, 2019.

[53] Wu et al. Session-based Recommendation with Graph Neural Networks. AAAI, 2019.

[54] Maurizio et al. Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches. RecSys, 2019.

[55] Rendle et al. Neural Collaborative Filtering vs. Matrix Factorization Revisited. arXiv, 2020.

[56] Noveen et al. How Useful are Reviews for Recommendation? A Critical Review and Potential Improvements. SIGIR, 2020

以上文献均可在 https://github.com/hongleizhang/RSPapers 中找到。
获取以上高清文件,公众号后台回复“ timeline “即可。

推荐阅读

超赞!百度词法分析工具 LAC 全面升级,2.0 版在线极速体验

这个NLP工具,玩得根本停不下来

征稿启示| 200元稿费+5000DBC(价值20个小时GPU算力)

文本自动摘要任务的“不完全”心得总结番外篇——submodular函数优化

Node2Vec 论文+代码笔记

模型压缩实践收尾篇——模型蒸馏以及其他一些技巧实践小结

中文命名实体识别工具(NER)哪家强?

学自然语言处理,其实更应该学好英语

斯坦福大学NLP组Python深度学习自然语言处理工具Stanza试用

太赞了!Springer面向公众开放电子书籍,附65本数学、编程、机器学习、深度学习、数据挖掘、数据科学等书籍链接及打包下载

数学之美中盛赞的 Michael Collins 教授,他的NLP课程要不要收藏?

自动作诗机&藏头诗生成器:五言、七言、绝句、律诗全了

这门斯坦福大学自然语言处理经典入门课,我放到B站了

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区,专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享,主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等,欢迎关注!加技术交流群请添加AINLPer(id:ainlper),备注工作/研究方向+加群目的。


阅读至此了,点个在看吧👇

登录查看更多
1

相关内容

协同过滤(英语:Collaborative Filtering),简单来说是利用某兴趣相投、拥有共同经验之群体的喜好来推荐用户感兴趣的信息,个人透过合作的机制给予信息相当程度的回应(如评分)并记录下来以达到过滤的目的进而帮助别人筛选信息,回应不一定局限于特别感兴趣的,特别不感兴趣信息的纪录也相当重要。协同过滤又可分为评比(rating)或者群体过滤(social filtering)。其后成为电子商务当中很重要的一环,即根据某顾客以往的购买行为以及从具有相似购买行为的顾客群的购买行为去推荐这个顾客其“可能喜欢的品项”,也就是借由社群的喜好提供个人化的信息、商品等的推荐服务。除了推荐之外,近年来也发展出数学运算让系统自动计算喜好的强弱进而去芜存菁使得过滤的内容更有依据,也许不是百分之百完全准确,但由于加入了强弱的评比让这个概念的应用更为广泛,除了电子商务之外尚有信息检索领域、网络个人影音柜、个人书架等的应用等。
Transformer模型-深度学习自然语言处理,17页ppt
专知会员服务
102+阅读 · 2020年8月30日
基于知识图谱的推荐系统研究综述
专知会员服务
327+阅读 · 2020年8月10日
一份简单《图神经网络》教程,28页ppt
专知会员服务
123+阅读 · 2020年8月2日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
专知会员服务
60+阅读 · 2020年3月19日
【新书】贝叶斯网络进展与新应用,附全书下载
专知会员服务
119+阅读 · 2019年12月9日
【推荐系统/计算广告/机器学习/CTR预估资料汇总】
专知会员服务
87+阅读 · 2019年10月21日
资源分享 | WSDM2020推荐系统论文打包下载
机器学习与推荐算法
12+阅读 · 2020年6月16日
推荐系统原理、工程、大厂(Youtube、BAT、TMB)架构干活分享
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
推荐系统概述
Linux爱好者
20+阅读 · 2018年9月6日
历史最全-16个推荐系统开放公共数据集整理分享
深度学习与NLP
22+阅读 · 2018年7月28日
LibRec 精选:推荐系统9个必备数据集
LibRec智能推荐
6+阅读 · 2018年3月7日
LibRec 每周精选:近期推荐系统论文及进展
LibRec智能推荐
30+阅读 · 2018年2月5日
推荐系统经典技术:矩阵分解
机器学习研究会
10+阅读 · 2017年10月10日
Arxiv
8+阅读 · 2019年5月20日
Arxiv
10+阅读 · 2019年2月19日
Arxiv
53+阅读 · 2018年12月11日
VIP会员
相关VIP内容
Transformer模型-深度学习自然语言处理,17页ppt
专知会员服务
102+阅读 · 2020年8月30日
基于知识图谱的推荐系统研究综述
专知会员服务
327+阅读 · 2020年8月10日
一份简单《图神经网络》教程,28页ppt
专知会员服务
123+阅读 · 2020年8月2日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
专知会员服务
60+阅读 · 2020年3月19日
【新书】贝叶斯网络进展与新应用,附全书下载
专知会员服务
119+阅读 · 2019年12月9日
【推荐系统/计算广告/机器学习/CTR预估资料汇总】
专知会员服务
87+阅读 · 2019年10月21日
相关资讯
资源分享 | WSDM2020推荐系统论文打包下载
机器学习与推荐算法
12+阅读 · 2020年6月16日
推荐系统原理、工程、大厂(Youtube、BAT、TMB)架构干活分享
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
推荐系统概述
Linux爱好者
20+阅读 · 2018年9月6日
历史最全-16个推荐系统开放公共数据集整理分享
深度学习与NLP
22+阅读 · 2018年7月28日
LibRec 精选:推荐系统9个必备数据集
LibRec智能推荐
6+阅读 · 2018年3月7日
LibRec 每周精选:近期推荐系统论文及进展
LibRec智能推荐
30+阅读 · 2018年2月5日
推荐系统经典技术:矩阵分解
机器学习研究会
10+阅读 · 2017年10月10日
Top
微信扫码咨询专知VIP会员