2018年最全的推荐系统干货（ECCV、CVPR、AAAI、ICML）

2018 年 9 月 13 日 计算机视觉战队

最近总有几位关注者希望我们可以分享一些“推荐系统”类的干货，最近正好一不小心看到一篇比较好的博主写的推送，在此我通过自己理解和该博主的内容，为大家带来一次推荐系统的分享！

前言

随着电子商务的发展，网络购物成为一种趋势，当你打开某个购物网站比如淘宝、京东的时候，会看到很多给你推荐的产品，你是否觉得这些推荐的产品都是你似曾相识或者正好需要的呢。这个就是现在电子商务里面的推荐系统，向客户提供商品建议和信息，模拟销售人员完成导购的过程。

推荐系统是一个相当火热的研究方向，在工业界和学术界都得到了大家的广泛关注。希望通过下面的介绍，总结一些关于推荐系统领域相关的会议、知名学者，以及做科研常用的数据集、代码库等，希望能够帮助想入门推荐系统的童鞋们提供一个参考，希望能够尽快上手推荐系统，进而更好更快的深入科研也好、工程也罢。

那下面开始正式介绍，过程会给大家推荐一些比较好的会议、文章、作者等，记得收藏记录下来。

介绍

什么是推荐系统呢？刚刚前面也简单的介绍了下，在维基百科这样解释：推荐系统属于资讯过滤的一种应用。推荐系统能够将可能受喜好的资讯或实物（例如：电影、电视节目、音乐、书籍、新闻、图片、网页）推荐给使用者。

推荐系统首先收集用户的历史行为数据,然后通过预处理的方法得到用户-评价矩阵,再利用机器学习领域中相关推荐技术形成对用户的个性化推荐。有的推荐系统还搜集用户对推荐结果的反馈,并根据实际的反馈信息实时调整推荐策略,产生更符合用户需求的推荐结果。

推荐系统的作用：

将网站的浏览者转为购买者或者潜在购买者（购物车）；
提高购物网站的交叉销售能力和成交转化率；
提高客户对网站的忠诚度和帮助用户迅速找到产品。

推荐系统的表现形式：

Browsing：客户提出对特定商品的查询要求，推荐系统根据查询要求返回高质量的推荐；
Similar Item：推荐系统根据客户购物篮中的商品和客户可能感兴趣的商品推荐类似的商品；
Email：推荐系统通过电子邮件的方式通知客户可能感兴趣的商品信息；
Text Comments：推荐系统向客户提供其他客户对相应产品的评论信息；
Average Rating：推荐系统向客户提供其他客户对相应产品的等级评价；
Top-N：推荐系统根据客户的喜好向客户推荐最可能吸引客户的N件产品；
Ordered Search Results：推荐系统列出所有的搜索结果，并将搜索结果按照客户的兴趣降序排列。

推荐技术分类：

基于用户统计信息的推荐;
基于其他客户对该产品的平均评价，这种推荐系统独立于客户，所有的客户得到的推荐都是相同的(Non-PersonalizedRecommendation)；
基于产品的属性特征(Attributed-Based Recommendation)；
根据客户感兴趣的产品推荐相关的产品(Item-to-ItemCorrelation)；
协同过滤，推荐系统根据客户与其他已经购买了商品的客户之间的相关性进行推荐(People-to-PeopleCorrelation)。

代码与工具

1、LibRec

java版本开源推荐系统，包含了70多种经典的推荐算法。

2、Surprise

python版本开源推荐系统，包含了多种经典的推荐算法。

3、LibMF

c++版本开源推荐系统，主要实现了基于矩阵分解的推荐算法。

4、Recommender-System

python版本开源推荐系统，包含了多种经典的推荐算法。

5、Neural Collaborative Filtering

python实现神经协同过滤推荐算法。

根据前面用户计算的相似度和寻找最近邻居来计算推荐度，这里举例图示说明。

示例1：

下面是新浪网新闻热点推荐，用户在新浪网浏览了一系列的财经类新闻，根据用户相似性，即两个用户有相同的爱好做出的推荐。

基于项目的协同过滤算法：

基于项目协同过滤在于透过计算项目之间的相似性来代替使用者之间的相似性。所建立的一个基本的假设：”能够引起使用者兴趣的项目，必定与其之前评分高的项目相似”。

基于项目的协同过滤算法的关键步骤仍然是计算项目之间的相似性并选出最相似的项目，这一点与基于用户的协同过滤类似。

计算两个项目i和j之间相似性的基本思想是首先将对两个项目共同评分的用户提取出来，并将每个项目获得的评分看作是n维用户空间的向量，再通过相似性度量公式计算两者之间的相似性。

分离出相似的项目之后，下一步就要为目标项目预测评分，通过计算用户u对与项目i相似的项目集合的总评价分值来计算用户u对项目i的预期。

这里我们主要来关注一下基于用户的协同过滤和基于项目的协同过滤算法的区别：

基于用户的协同过滤是推荐用户所在兴趣小组中的热点，更注重社会化；比如：如上面示例1所示，新浪网给目标客户推荐其他有相同或相似兴趣爱好的人关注的新闻，这样就保证了新闻门户网站需要的时效性，给用户最新最及时最感兴趣的新闻信息。
基于项目的协同过滤算法则是根据用户历史行为推荐相似物品，更注重个性化。比如购物网站，用户的兴趣爱好一般比较固定，网站一般是给目标用户推荐他所感兴趣领域的产品。可参考示例2.

示例2：

下面是淘宝网站的例子，“猜你喜欢”就是将相同类型的东西推荐给用户。

再来看京东网站的例子。用户浏览书籍《Hadoop实战》

然后下面就会产生“热门推荐”，即邻居项目的产生。

优点：

能够过滤难以进行机器自动内容分析的信息，如艺术品，音乐等；
共享其他人的经验，避免了内容分析的不完全和不精确，并且能够基于一些复杂的，难以表述的概念（如信息质量、个人品味）进行过滤；
有推荐新信息的能力。可以发现内容上完全不相似的信息，用户对推荐信息的内容事先是预料不到的。这也是协同过滤和基于内容的过滤一个较大的差别，基于内容的过滤推荐很多都是用户本来就熟悉的内容，而协同过滤可以发现用户潜在的但自己尚未发现的兴趣偏好；
能够有效的使用其他相似用户的反馈信息，较少用户的反馈量，加快个性化学习的速度。

不足：

稀疏性问题。大多数用户只评价了部分项目,这样导致用户-评分矩阵十分稀疏,这样不利于推荐系统为用户推荐信息;
冷启动问题。新产品没有任何用户的评分,在协同过滤中是无法推荐的。新用户没有历史信息,也是无法推荐的；
同一性问题。对于那些内容相同但是名称不同的项目,协同过滤是无法发现它们内在的联系。

基于关联规则的推荐（AssociationRule-based Recommendation）

描述：关联规则算法首先由Agrawal和Swami提出，最早的成型为经典的Apriori算法。它的基本思想是：使用一种称作逐层搜索的迭代方法，k项集用于探索(k+1)项集。首先，通过扫描事务（交易）记录，找出所有的频繁1项集，该集合记做L1，然后利用L1找频繁2项集的集合L2，L2找L3，如此下去，直到不能再找到任何频繁k项集。最后再在所有的频繁集中找出强规则，即产生用户感兴趣的关联规则。

关于这个算法有一个非常有名的故事："尿布和啤酒"：美国的妇女们经常会嘱咐她们的丈夫下班后为孩子买尿布，而丈夫在买完尿布后又要顺手买回自己爱喝的啤酒，因此啤酒和尿布在一起被购买的机会很多。这个举措使尿布和啤酒的销量双双增加，并一直为众商家所津津乐道。

概念介绍：

支持度：S(Support) 事物包含A B = P(x),表示事件x出现的概率；
置信度：C(Confidence) 在A发生的事件中同时发生B的概率 P(AB)/P(A) = P(B|A);
频繁项集：(Frequent Itemset)支持度大于等于特定的最小支持度（MinimumSupport/minsup）的项集。表示为L k。
连接步：L(k-1) 与其自身进行连接，产生候选项集 C(k) 。 L(k-1) 中某个元素与其中另一个元素可以执行连接操作的前提是它们中有(k-2) 个项是相同的。也就是只有一个项是不同的。如：项集 {I1,I2} 与 {I1,I5} 连接之后产生的项集是 {I1,I2,I5} ，而项集 {I1,I2} 与 {I3,I4}不能进行连接操作。
剪枝步：C k是L k的超集，也就是说，C k的成员可能是也可能不是频繁的。通过扫描所有的事务（交易），确定C k中每个候选的计数，判断是否小于最小支持度计数，如果不是，则认为该候选是频繁的。为了压缩Ck,可以利用Apriori性质：任一频繁项集的所有非空子集也必须是频繁的，反之，如果某个候选的非空子集不是频繁的，那么该候选肯定不是频繁的，从而可以将其从C k中删除。

下面我们通过一个例子来解释：

Apriori算法的缺点：

由频繁k-1项集进行自连接生成的候选频繁k项集数量巨大；
在验证候选频繁k项集的时候需要对整个数据库进行扫描，非常耗时。

Apriori算法的优化 ——Fp-tree 算法

这里简单介绍下优化思想：

以树形的形式来展示、表达数据的形态；可以理解为水在不同河流分支的流动过程；步骤如下：

扫描原始项目集；
排列数据；
创建ROOT节点；
按照排列的数据进行元素的流动；
节点+1；

优点：

能发现新兴趣点；
不要领域知识。

不足：

算法的第一步关联规则的发现最为关键且最耗时，是算法的瓶颈，但可以离线进行；
其次，商品名称的同义性问题也是关联规则的一个难点。

其他推荐算法介绍：

除了上面比较详细介绍的集中推荐算法，这里再简单介绍一下其他几种算法。

基于效用推荐

基于效用的推荐（Utility-basedRecommendation）是建立在对用户使用项目的效用情况上计算的，其核心问题是怎么样为每一个用户去创建一个效用函数，因此，用户资料模型很大程度上是由系统所采用的效用函数决定的。基于效用推荐的好处是它能把非产品的属性，如提供商的可靠性（VendorReliability）和产品的可得性（ProductAvailability）等考虑到效用计算中。

基于知识推荐

基于知识的推荐（Knowledge-basedRecommendation）在某种程度是可以看成是一种推理（Inference）技术，它不是建立在用户需要和偏好基础上推荐的。基于知识的方法因它们所用的功能知识不同而有明显区别。效用知识（FunctionalKnowledge）是一种关于一个项目如何满足某一特定用户的知识，因此能解释需要和推荐的关系，所以用户资料可以是任何能支持推理的知识结构，它可以是用户已经规范化的查询，也可以是一个更详细的用户需要的表示。

组合推荐

由于各种推荐方法都有优缺点，所以在实际中，组合推荐（HybridRecommendation）经常被采用。研究和应用最多的是内容推荐和协同过滤推荐的组合。最简单的做法就是分别用基于内容的方法和协同过滤推荐方法去产生一个推荐预测结果，然后用某方法组合其结果。尽管从理论上有很多种推荐组合方法，但在某一具体问题中并不见得都有效，组合推荐一个最重要原则就是通过组合后要能避免或弥补各自推荐技术的弱点。

在组合方式上，有研究人员提出了七种组合思路：
1）加权（Weight）：加权多种推荐技术结果。
2）变换（Switch）：根据问题背景和实际情况或要求决定变换采用不同的推荐技术。
3）混合（Mixed）：同时采用多种推荐技术给出多种推荐结果为用户提供参考。
4）特征组合（Featurecombination）：组合来自不同推荐数据源的特征被另一种推荐算法所采用。
5）层叠（Cascade）：先用一种推荐技术产生一种粗糙的推荐结果，第二种推荐技术在此推荐结果的基础上进一步作出更精确的推荐。
6）特征扩充（Featureaugmentation）：一种技术产生附加的特征信息嵌入到另一种推荐技术的特征输入中。
7）元级别（Meta-level）：用一种推荐方法产生的模型作为另一种推荐方法的输入。