推荐系统模型发展简史

2022 年 9 月 12 日 机器学习与推荐算法

嘿，记得给“机器学习与推荐算法”添加星标

互联网出现不久，推荐系统就诞生了，相关技术在学术界和工业界得到了广泛的研究和应用。目前，推荐系统已经成为最成功的网络应用之一，通过推荐不同种类的内容来为数十亿人服务，包括新闻资讯、视频、电子商务产品、音乐、电影、书籍、游戏、朋友、工作等。这些成功的案例证明，推荐系统可以将大数据转移成高价值。本文从两个方面简要回顾了推荐系统的发展历程：（1）推荐模型，（2）典型推荐系统的架构。之前我们整理了近30年关于推荐模型的发展历史可参考一文尽览推荐系统模型演变史(文末可下载)，另外关于中国推荐系统发展历史可参考那些用推荐引擎改变世界的人。我们希望这个简短的回顾能够帮助了解网络推荐系统的进展，并且这些点在未来会以某种方式连接起来，从而激励建立更先进的推荐服务进而改变世界。

1992年，Belkin等人分析和比较了信息过滤和信息检索，其中信息检索是搜索引擎的基石，而信息过滤则是推荐系统主要利用的技术。同年，Goldberg等人提出了Tapestry系统，这是第一个通过人的评价来实现的基于协同过滤的信息过滤系统。受此启发，麻省理工学院（MIT）和明尼苏达大学（UMN）的一些研究人员开发了新闻推荐服务，命名为GroupLens，其关键部分是基于用户的协同过滤模型。John Riedl教授在UMN创立了一个研究实验室，也命名为GroupLens，是推荐系统研究的先驱。对于音乐和视频，类似的推荐技术已经分别被Ringo系统和视频推荐所应用。伴随着电子商务的兴起，业界意识到了推荐的商业价值。Net Perceptions是第一家专注于提供营销推荐引擎的公司，成立于1996年。其客户包括亚马逊、百思买和JC Penney等。Schafer等人从界面、推荐模型和用户输入等三个方面分析了六个网站，解释了推荐系统是如何帮助电子商务网站增加销售的。此后，学术研究和工业实际应用成为推荐系统技术进步的两架马车。1997年秋天，GroupLens研究实验室启动了MovieLens项目，用EachMovie数据集训练了第一版推荐模型。此后，在1998年至2019年期间，多个MovieLens数据集不断被发布，并成为推荐系统研究中最受欢迎的数据集之一。

从推荐模型的角度来看，协同过滤技术在2005年之前主导了推荐系统的应用和研究，如基于用户的协同过滤，基于项目的协同过滤和基于奇异值分解的协同过滤。在2006年至2009年期间，受Netflix奖金的激励，矩阵分解模型得到了广泛的研究- 推荐系统之矩阵分解家族。在同一时期，一些研究人员开始提出非正式的论点，认为对推荐系统的评价应该从传统的准确性指标转向以用户为中心的评价。

由于推荐系统的基础研究和商业应用的快速发展，推荐社区决定于2007年在UMN举办第一届推荐系统会议ACM RecSys，关于今年年会的论文整理可参考RecSys2022推荐系统论文集锦。目前，RecSys已经成为专注于推荐系统研究的最重要的年度学术会议之一。同年，Richardson等人提出了一个逻辑回归模型，该模型在点击率估计方面的误差实现了30%的降低。此后，LR模型从不同方面不断改进，包括优化方法、自动特征工程等。2010年，Rendle提出了结合支持向量机和因子模型优势的因子分解机FMs。在FMs的基础上，Juan等人提出了域感知的因子分解机，该模型在对每个特征对的权重进行建模时考虑了特征的字段。同时，越来越多的研究关注推荐系统中的用户体验问题。Pu等人提出了一个以用户为中心的推荐系统评估框架；Konstan和Riedl对推荐系统研究从单纯的算法研究到集中于用户体验的研究的演变提出建议。

自2016年以来，基于深度神经网络的推荐模型在学术界和工业界得到了广泛关注。在工业推荐模型方面，Wide&Deep和DeepFM模型已经被部署用于改进应用推荐。YouTubeDNN和correct-sfx被用于提高视频推荐的准确性。DIN和DIEN被提出来用于对用户兴趣等序列信息进行建模，并采用了注意力机制。Wang等人提出了DCN和DCN V2来自动有效地学习有界度的预测性特征交互。在学术界，研究人员也提出了重要的深度推荐模型，如FNN、PNN、NeuralCF、NFM、CVAE。为了解决推荐模型研究中的可复现性问题，研究人员开发了一个用于CTR预测的开放基准，命名为FuxiCTR。Sun等人为基于隐式反馈的top-N推荐算法创建了基准，如可重复的和公平的评价指标。还有一些其他的开源推荐模型，很大程度上推动了推荐系统研究的进展。

近年来，为了解决推荐系统中的偏差问题，对因果推理启发推荐的研究越来越多- 最新综述 | 基于因果推断的推荐系统。Schnabel等人提供了一种通过适应因果推理的模型和估计来处理选择偏差的方法。Thorsten在2018年教授了一门名为反事实机器学习的课程。大部分课程内容都是基于信息检索和推荐系统的例子。在本文中，我们并不试图对推荐系统的所有方面进行全面回顾，如人机交互、评估、隐私、攻击、用户体验、公平等。关于这些相关的研究课题，已经有了一些详细的综述。在本文中，主要回顾了实用的推荐模型和典型推荐系统的架构，并简要地讨论了关于未来推荐系统的一些想法。

关于更多细节可阅读原文：

https://arxiv.org/abs/2209.01860