【推荐系统】现实版“读心术”，读懂你性格的个性化推

2017 年 10 月 20 日 产业智能官

来源：谢幸、张富峥 微软研究院AI头条

编者按：互联网的迅猛发展为信息量的惊人膨胀提供了肥沃的土壤。丰富的信息资源给用户提供更多选择的同时，信息的泛滥也意味着用户必须为信息筛选付出更大的成本。

应运而生的个性化推荐技术能够在这个被信息淹没的时代，把用户最感兴趣的内容直接呈现在用户面前。本文中，微软亚洲研究院研究员谢幸、张富峥将为你揭开大数据背后个人性格的神秘面纱，近距离感受个性化推荐的神奇之处。原论文刊登于《中国人工智能学会通讯》2017年第07期。

个性化推荐系统大致可以分为三层境界，以电商推荐场景为例，第一层境界是你购买过什么，能够给你推荐类似的商品；第二层境界推荐的是你需要并且也适合你的其他商品；第三层境界，也就是最高的境界，应该是能够基于你的性格、兴趣等个人特性，为你推荐从来没有想过却正中心意的商品，能给你带来意想不到的惊喜。

目前主流的个性化推荐算法，主要包括协同过滤推荐算法和基于内容的推荐算法，还只能达到前两层境界，有可能会产生过于盲目的“精准推荐”，从而使得用户的视野变得越来越狭窄。个性化推荐技术想要更上一层楼，必须对用户的性格进行更深层次的解读，并且有效地融入在推荐模型中。有针对性的个性化推荐不仅是营销界的制胜法宝，在政治、经济、文化等领域同样能够大放异彩。

融合用户的性格到推荐算法中，开启了进一步提升个性化推荐境界的大门。按照用户性格获取的方式，目前该领域的研究工作主要分为基于调查问卷的性格推荐算法和基于模型的性格推荐算法。

基于调查问卷的性格推荐算法

此类算法常常分为两步，首先使用心理学中的调查问卷工具来测量用户的性格特征，然后把用户的性格特征融合到传统的推荐算法中。代表性的工作来自洛桑联邦理工学院的Rong和Pearl，他们在协同过滤的框架中引入了性格特征。如图1所示，根据用户的评分数据以及心理学中的TIPI量表测量得到的大五人格数据，他们使用皮尔逊系数来分别计算两个用户的评分相似性和性格相似性。图2展示了他们的实验结果，可以发现融入性格特征的协同过滤算法能够更好地解决推荐里面常常遇到的冷启动问题。

图1 融合性格相似性和评分相似性的推荐模型

图2 级联式混合模型和基准算法在不同稀疏性配置下的性能比较

互联网上的服务，特别是音乐和电影类的网站，由于跟用户性格有强烈的相关性，也开始尝试使用性格来进行个性化推荐。例如在电影推荐网站Whattorent上，系统会要求用户回答关于性格测量的20个问题，然后根据用户的性格来推荐相关的电影。Gifts是一个礼物推荐的电商网站，系统会用一套心理学量表来测量礼物接收者的性格，然后根据接收者的性格来筛选合适的礼物。

基于模型的性格推荐算法

由于用户填写调查问卷需要花费一定的时间，而且问卷中难免会出现主观偏差的问题，因此基于调查问卷的推荐算法在互联网的个性化服务中存在着难以避免的屏障。而基于模型的性格推荐算法希望跨过调查问卷这道屏障，从用户的行为数据中挖掘用户的性格特征，并直接融入到推荐算法中进行推荐。

这个领域的工作刚刚起步，研究成果还较为少见。目前我们正在进行初步尝试，探索如何从用户的行为数据中挖掘猎奇性和消费冲动性等性格特征，并且用于餐馆推荐和商品推荐等场景。

具体而言，在餐馆推荐的场景中，我们需要为用户产生在下一次就餐时的餐馆推荐列表。在传统的电商和新闻等推荐任务中，所推荐的物品主要是用户之前没有购买的商品或者之前没有阅读过的新闻，所以协同过滤等模型主要关注用户对新物品的偏好。而在餐馆推荐中，用户下一次就餐时可能去之前光顾过的餐馆，也可能去一个新的餐馆。

图3 该图统计了用户就餐次数和去新餐馆的概率，可以看到，即使一个用户在100次就餐之后，有接近40%的概率去一个新的餐馆就餐

因此，为了区分是推荐去过的餐馆还是推荐新餐馆，我们从用户的历史就餐行为中学习用户对新餐馆的偏好，而这正是用户性格中的猎奇特性。在下一次餐馆推荐时，首先预测用户是否会选择新餐馆，针对新餐馆和去过的餐馆分别设计不同的推荐算法。如下图所示，若预测用户会去新餐馆时，使用基于环境信息的张量分解算法进行推荐；若预测用户可能会去之前去过的餐馆，则使用隐马尔科夫模型进行推荐。我们使用大众点评中的餐馆签到数据进行了实验，发现猎奇推荐算法明显好于协同过滤等基准算法。

基于用户猎奇特征的餐馆推荐算法

同时我们还发现，用户的消费行为会受到社交媒体的影响。消费数据和社交媒体上相关信息的强关联性表明了很多用户的消费受到社交媒体的刺激，而用户对刺激的反应程度正是由心理学中的消费冲动性格来刻画的。因此，我们设立了基于消费冲动性格的推荐模型：1）计算一段时间内社交媒体上的信息和商品的相似性，即该商品在社交媒体上对用户的刺激程度。2）把每个用户的消费冲动程度设计为一个隐变量。3）使用图模型对用户消费行为进行建模。当用户的冲动状态处于较高的值时，用户更容易被社交媒体上的信息所刺激，选择一个刺激信息较强的物品去消费，而忽略掉自己本身对这些物品的喜爱程度；而当用户的冲动状态处于较低的值时，用户处于较理性的状态，此时用户更易于根据自身的喜好选择物品。

我们针对移动消费数据和在线购物数据进行实验，一方面发现模型能够较为准确地测量的用户消费冲动程度（跟调查问卷的结果存在较强的相关性），另一方面模型也具有良好的推荐性能。

基于物品刺激程度和用户消费冲动的推荐模型

除了对消费者的消费行为进行预测和评估以外，个性化推荐的可应用空间相当可观。微软小冰就能够根据自身算法测量应聘者和面试官的性格，得出二者之间的匹配指数，为双方提供选择参考。

微软小冰测量用户性格

根据微软小冰测量的性格匹配应聘者和面试官

尽管随着心理学和计算机研究的不断进展以及两者的深度融合，有效测量用户的性格特征并融入到个性化推荐场景大有可为，但是基于性格的个性化推荐算法的研究仍然处于初步阶段，前路挑战重重。

这些挑战体现在如下几个方面：需要克服调查问卷的依赖性，直接根据用户行为对性格测量的有效性是该领域需要突破的关键性研究问题；用户可能来自不同的地区甚至国家，目前的研究工作还不能很好的考虑到可能存在的文化差异，比如在不同的文化背景下，同样的行为是否反应同样的性格，以及是否应该进行类似的个性化推荐；可解释性是个性化推荐技术很重要的一个评价指标，基于性格的推荐算法如何更好地解释用户对物品的偏好也是该领域的关键性问题。

虽然相关研究已证实了个性化推荐在部分应用领域的潜力，但是目前的研究基础理论不完整，技术方案尚未成体系，应用还不够广泛。作为一个交叉学科，这个领域的成功需要计算机科学家、心理学家和社会学家们一起的努力。

AI驱动的电商用户模型：性别属性是如何确定

人人都是产品经理

对于用户画像相关的信息，在本站已经在很多文章里有过对应的描述。但是对于画像每个属性细节确定过程，你可能还不够了解全面。本文就带领大家了解一下，如何通过大数据来确定用户的真实性别。

我们经常谈论的用户精细化运营，到底是什么？简单来讲，就是将网站的每个用户标签化，制作一个属于他自己的网络身份证。然后，运用人员通过身份证来确定活动的投放人群，圈定人群范围，更为精准的用户培养和管理。当然，身份证最基本的信息就是姓名，年龄和性别，与现实不同的是，网络上用户填写的资料不一定完全准确，还需要进行进一步的确认和评估。确定性别这件事很重要，简单举个栗子，比如店铺想推荐新品的Bra，如果粗糙的全部投放人群或者投放到不准确性别的人群，那后果可想而知了。下面笔者来介绍一下具体的识别思路

用户画像需要的数据

用户平时在电商网站的购物行为，浏览行为，搜索行为，以及订单购买情况都会被记录在案，探查其消费能力，兴趣等。数据归类后，一般来讲，可以通过三类数据对用户进行分群和定义

用户信息

社会特征：马克思的人性观把人分为社会属性和自然属性，社会特征主要指的是人在社会上的阶级属性，当然也包括服从性依赖性或者自觉性等，这是人类发展的必然的基本要求。

自然特征：也可以说成是人的生物性，通常来讲可以是食欲，物欲或者购买欲，自我保存能力。但不同人会有不同的自然特征，比如学习能力和逻辑思维等。

兴趣特征：对于电商来讲，主要是对某件商品，某个品牌或者品类的兴趣程度，如加购，浏览，收藏，搜索和下单行为。

消费特征：消费能力的评估，消费倾向的评估，能够判断用户的消费层级，是高消费力还是低消费力

商品

商品属性：基本信息，品类，颜色尺码型号等。

商品定位：商品层级，是否为高中低端，商品类型倾向于哪类客户，区域或者其他的特征。

最后通过以上的信息来获取用户信息，判断其具体的画像特征，然后得到类似于酱紫的网络身份证。

通常，拿到数据后，我们会将每个环节进行拆解，落实到具体的行动策略上。大体可以根据以下流程进行模型的预估

业务目标：精准投放：针对已有产品，寻找某性别偏好的精准人群进行广告投放。

技术目标：对用户购物性别识别：男性，女性，中性。

解决思路：选择一种分类算法，建立spark模型，对模型进行应用。

线上投放：对得到的数据进行小范围内的测试投放，初期不宜过大扩大投放范围。

效果分析：对投放的用户进行数据分析，评估数据的准确性。若不够完美，则需要重新建模和测试。

产品如何理解建模过程

重点来了，虽然能够通过用户的行为，购买和兴趣数据，了解用户的基本信息，但是仍然不清楚如何建模？用什么语言建模？

其实，购物性别的区分使用的是spark，但是spark也有很多分类，包含逻辑回归，线性支持向量机，朴素贝叶斯模型和决策树，又该如何选择呢？

其中，决策树的优点较多，主要是其变量处理灵活，不要求相互独立。可处理大维度的数据，不用预先对模型的特征有所了解。对于表达复杂的非线性模式和特征的相互关系，模型相对容易理解和解释。看起来决策树的方法最适合区分性别特征了，所以决定用决策树进行尝试。

什么是决策树？简单来讲，是通过训练数据来构建一棵用于分类的树，从而对未知数据进行高效分类。可以从下面的图了解决策树的工作原理。

构造决策树的步骤为：

起始阶段，所有历史数据当作一个主节点；
我们选择某个属性测试条件用于分割节点，以择偶标准模型为例，把长相作为首节点；
将长相节点分割，以帅和丑作为条件，导致的结果作为其子节点，如分割成牵手和是否公务员；
对子节点，如牵手和是否公务员，继续执行第2、3步，直到节点满足停止分割的条件。

通过训练数据来构建一棵用于分类的树，从而对未知数据进行高效分类。

以上步骤中，能够得出一个结论，在构建决策树的过程中，最重要的是如何找到最好的分割点。决策树值得注意的问题是过拟合问题，整个算法必须解决「如何停止分割」和「如何选择分割」两个关键问题。最简单的做法就是设定树的深度或枝叶的最少样本量。但是，过少的样本量又不具有代表性，所以

一般情况，可以使用交叉验证的方法。交叉验证就是可以使用一部分数据用于模型的训练，另一部分数据可以用来评估模型的性能。业内常用的划分方法是讲样本进行50/50分，60/40分或者80/20分。

模型确立过程

再建模前期，首要考虑的事情就是先确定指标，以及对样本的定义。购物性别指的是什么？通过哪些数据来确定购物性别，样本的准确性，如何验证数据的可信度等。

购物性别的定义

先看下图，具体的逻辑可从图中查看。一般来讲，用户填写的资料不一定真实，我们对他/她的性别数据持怀疑态度，所以，就需要其他数据进行辅助证明其性别。订单数据能够真实反映用户的购买心态，预测购买行为，并且能够通过购买商品的所属类别，判断用户的购买倾向，最后得到性别特征类目。不过本文就不展开探讨甄别特征类目的区分方法了。

根据数据结果，最终，确认了购物性别的定义。分为：

购物性别男：N月购买的男性特征类目子下单数> N月购买的女性特征类目子下单数；
购物性别女：N月购买的男性特征类目子下单数> N月购买的女性特征类目子下单数；
购物性别中性：未下单男女特征类目。

N需要具体根据业务场景来定。

建模数据准备过程

本节是具体的操作过程，模型的实操阶段。一般来讲，不同模型的训练其实大体雷同。从技术上来讲，各家算法大多使用spark，不同点是所运算的模型都是针对于场景来定的。

在全部样本中，取80%的数据用于训练模型
在全部样本中，取20%的数据用户数据测试

这种方式可以更好的根据数据的规模，提高模型的准确性。

模型效果分析

根据各类参数的评估结果，以及人工经验选定的模型参数，建立模型。值得注意的是，决策树的深度不要过深，以防止过拟合的问题：

行业内当前采用数据挖掘、机器学习和推荐系统中的评测指标—准确率(Precision)、召回率(Recall)，准确率是应用最广的数据指标，也很清晰易懂，以男性为例

准确率=命中的男性用户数量/所有预测男性数量，一般来讲，准确率可以评估模型的质量，他是很直观的数据评价，但并不是说准确度越高，算法越好。

召回率=命中的男性用户数量/所有男性数量，反映了被正确判定的正例占总的正例的比重。

模型建立完后，需根据模型的结果与预期的对比，进行调优

最后要说的

购物性别定义对于用户精准营销十分重要，疑难杂症，对症下药，才能出现更好的疗效。

作者：十月菌，微信号公众号：shdwangluobo，京东产品经理，负责过多款互联网产品，主攻智慧营销，内容电商和B2B产品，擅长产品设计，数据分析，喜爱文字，热爱折腾。

本文由@十月菌原创发布于人人都是产品经理。题图来自PEXELS，基于CC0协议

常见推荐策略及其在OTA上的应用

人人都是产品经理

文章结合实际案例，对OTA采用的一些常用推荐策略展开分析，一起来看。

什么是推荐系统？根据Wiki百科的定义，推荐系统是一种信息过滤系统，用于预测用户对物品的“评分”或“偏好”。个性化推荐已经在电商（Amazon，淘宝，京东等）、电影和视频（Youtube，Hulu，爱奇艺，腾讯视频）、个性化音乐（Spotify，网易云音乐，QQ音乐）、新闻（今日头条，腾讯新闻）等多个领域得到广泛的应用，并且取得了令人影响深刻的成绩。本文将结合案例来分析OTA采用的一些常用推荐策略。

常见的推荐策略

随着信息技术和移动互联网的发展，人们步入到一个信息过载的时代，而现在的用户越来越多的偏好使用移动终端来获取资讯，购买网上产品。信息过载和用户获取信息的方式改变导致对不论是内容生产者或产品提供者，还是内容消费者或产品购买者都遇到了巨大的挑战。如何利用碎片化的时间，通过移动终端，在海量的信息中找到想要的内容或产品是一件非常困难的事情。推荐系统通过一系列的推荐策略来解决这个冲突，成为一个重要工具之一。

推荐系统通过不同策略建立用户和物品的关系，从而将用户可能感兴趣的物品展示给用户，如下图：

注：本图是根据“ Tagsplanations : Explaining Recommendations using Tags”一文中的插图重新绘制，本图的著作权归原著作权人所有

策略一：基于物品的协同过滤

基于物品的协同过滤目前是业界应用最多的策略，该策略的主要思路：给用户推荐那些和他们之前喜欢的物品相似的物品，因为是基于用户的历史行为，所以能够给推荐结果提供推荐理由。该推荐策略主要分成两步：

基于全站用户的行为来计算物品间的相似度
找到与用户历史偏好的相似物品集按照相似度排序推荐给到用户

策略二：基于用户的协同过滤

基于用户的协同过滤是推荐系统中最古老的算法，该策略的主要思路：给用户推荐那些和该用户相似用户集喜欢但该用户未购买的物品，因为是基于相似用户，很难提供令用户信服的推荐理由。该推荐策略主要分成三步：

基于全站用户的行为来计算用户间的相似度
找到与目标用户有相似度的用户集
过滤掉相似用户集的偏好产品集中目标用户已经购买的产品，将剩下的产品推荐给到用户

策略三：基于用户标签数据

策略一和策略二主要通过用户的行为来计算相似度，没有利用人群或者物品的特征来计算人群或物品的相似度，该策略的主要思路：给用户推荐那些和该用户兴趣相匹配的物品。该推荐策略主要分成三步：

基于用户的行为计算出用户的兴趣点
找到与用户兴趣点匹配的物品集按照匹配度排序推荐给到用户

OTA上推荐策略的应用

人工智能赛博物理操作系统

AI-CPS OS

“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS形成数字化+智能化力量，实现行业的重新布局、企业的重新构建和自我的焕然新生。

AI-CPS OS的真正价值并不来自构成技术或功能，而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化，这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合，没有颠覆现状的意愿，这些将不可能实现。

领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量，领导者必须在行业、企业与个人这三个层面都保持领先地位：

重新行业布局：你的世界观要怎样改变才算足够？你必须对行业典范进行怎样的反思？
重新构建企业：你的企业需要做出什么样的变化？你准备如何重新定义你的公司？
重新打造自己：你需要成为怎样的人？要重塑自己并在数字化+智能化时代保有领先地位，你必须如何去做？

AI-CPS OS是数字化智能化创新平台，设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端，可以帮助企业将创新成果融入自身业务体系，实现各个前沿技术在云端的优势协同。AI-CPS OS形成的数字化+智能化力量与行业、企业及个人三个层面的交叉，形成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置：

精细：这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切，进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。
智能：模型随着时间（数据）的变化而变化，整个系统就具备了智能（自学习）的能力。
高效：企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力，这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。
不确定性：数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验，其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域：技术、文化、制度。
边界模糊：数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长：

创造虚拟劳动力，承担需要适应性和敏捷性的复杂任务，即“智能自动化”，以区别于传统的自动化解决方案；
对现有劳动力和实物资产进行有利的补充和提升，提高资本效率；
人工智能的普及，将推动多行业的相关创新，开辟崭新的经济增长空间。

给决策制定者和商业领袖的建议：

超越自动化，开启新创新模式：利用具有自主学习和自我控制能力的动态机器智能，为企业创造新商机；
迎接新一代信息技术，迎接人工智能：无缝整合人类智慧与机器智能，重新
评估未来的知识和技能类型；
制定道德规范：切实为人工智能生态系统制定道德准则，并在智能机器的开
发过程中确定更加明晰的标准和最佳实践；
重视再分配效应：对人工智能可能带来的冲击做好准备，制定战略帮助面临
较高失业风险的人群；
开发数字化+智能化企业所需新能力：员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说，创造兼具包容性和多样性的文化也非常重要。

子曰：“君子和而不同，小人同而不和。” 《论语·子路》云计算、大数据、物联网、区块链和人工智能，像君子一般融合，一起体现科技就是生产力。

如果说上一次哥伦布地理大发现，拓展的是人类的物理空间。那么这一次地理大发现，拓展的就是人们的数字空间。在数学空间，建立新的商业文明，从而发现新的创富模式，为人类社会带来新的财富空间。云计算，大数据、物联网和区块链，是进入这个数字空间的船，而人工智能就是那船上的帆，哥伦布之帆！

新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。