【推荐系统】你看到哪版电影海报，由算法决定：揭秘Netflix个性化推荐系统

2018 年 1 月 6 日 产业智能官 大数据文摘

大数据文摘作品

作者： Ashok Chandrashekar, Fernando Amat, Justin Basilico and Tony Jebara

编译：Niki、Katherine Hou、吴双、Yawei Xia

一直以来Netflix都致力于通过个性化推荐系统为每位用户及时推荐最符合他们口味的影片。一个类别下往往有成千上万的影片，同时我们又有来自不同用户的超过一亿个账户，这样的情况下，为每位用户推荐最对胃口的影片就十分关键。

但其实我们所做的推荐影片的工作不单单止步于此。为什么你会关注我们所推荐的某部影片？如何能让你对一个陌生、全新的影片名感兴趣？如何说服你让你觉得某部影片值得去看？解答这些问题对于帮助我们的用户在一堆陌生的影片名中发现好的、他们所喜欢的内容来说至关重要。

要解决这一挑战，其中一种方式是在描绘影片的配图上花心思。当一部影片的配图有某些吸引你的地方时，这张图片就是让你了解片名背后故事的最直接途径，也是你会喜欢这部影片的视觉“证据”。这张配图中也许有一个你认识的演员，也许描绘了像是汽车追捕这样紧张激动的画面，抑或是包含一个传达着电影或是电视剧核心的戏剧性画面。如果我们把这张精彩绝伦的配图展现在你的主页（就像常说的那样：一张图胜过千行字），那么也许，仅仅只是也许，你会打开看一看。这就是Netflix和其他传统媒体在提供影视资讯上的另一个不同： 我们没有一个通用的影片推荐列表，而是为全球过亿的用户提供他们每个人自己的个性化影片推荐和视觉资料。

没有配图的Netflix主页。这是之前我们推荐系统的算法所生成的主页。

在之前的文章中，我们探讨了针对所有用户如何为每部影片配置最合适的图片。通过多臂赌博机问题（Multi-armed bandit problem）的算法，我们为一部影片，比如《怪奇物语》（Stranger Things）寻找可以覆盖最大范围用户获取最多播放量的最佳配图。然而，在知道不同用户之间品位和喜好存在着巨大差异的情况下，如果能够为每位用户找到最吸引他们的配图去放大影片中最可能让他们感兴趣的元素，我们是否会收获更高的播放量？

《怪奇物语》在我们个性化算法中超过5%展现次数的配图。不同配图包含着剧情发展中的不同主题，这些信息无法通过任何单独一张图片去呈现。

把这个问题作为一个启发，让我们来探究一下在什么情境下配图的个性化设置会有意义。假设每位用户有自己的观影记录，左侧是某个用户过去曾看过的三部影片，而箭头指向的右侧是我们针对这位用户推荐某个影片所使用的配图。

设想一下为《心灵捕手》（Good Will Hunting）配图时，应如何选择不同的图片为不同用户去描绘这部影片。我们可以根据用户对电影主题和种类的喜好去选择图片。如果我们给一个看过很多爱情片的人展示包含马特•达蒙（Matt Damon）和明妮•德里弗（Minnie Driver）一起的剧照也许会让他对《心灵捕手》感兴趣。而一个看过很多喜剧片的人如果看到包含罗宾•威廉姆斯（Robin Williams，著名喜剧演员）的剧照也许会想去看这部电影。

再举个例子，设想当我们为《低俗小说》（Pulp Fiction）这部电影设置个性化配图时，不同用户对于影片主演的喜好会如何影响我们对于图片的选择？一个用户看了很多乌玛•瑟曼（Uma Thurman）主演的电影，那么为他推荐《低俗小说》时如果配上乌玛的剧照，他就很可能选择点开去看。同理，对于一个约翰•特拉沃尔塔（John Travolta）的粉丝，《低俗小说》这部电影配上约翰的剧照就会更有吸引力。

当然，并非所有情境下个性化配图的选择都如此清晰明确。所以与其一一列举这些人为制定的规则，倒不如让数据说话，告诉我们如何去选择配图。总的来说，配图的个性化设计使每部影片在不同用户前呈现出最好的第一印象，从而提升用户的使用体验。

挑战

在Netflix，我们崇尚个性化服务，并在算法上收纳了用户体验的各方面信息，包括主界面影片推荐列表的行数，每行不同的标题，陈列的宣传照片和我们所发放的信息等等。每个个性化方面的新尝试都有各自的挑战，配图的个性化设置也不例外且其表现出了多种挑战。其中一个是我们只能为每部电影选择一张配图去诠释它。然而传统的推荐系统可以让我们为每位用户展示多个选项，从而根据每个人的最终选择来了解他们的喜好。这意味着个性化配图的选择是一个死循环的“鸡和蛋”的问题：当一个用户选择播放某部影片时，他只看到了我们选择展示给他的那一张配图。而我们想要知道的是：什么时候用户对影片的选择（看或不看）会受配图的影响，而什么时候又不会受影响（不论展示什么配图，用户都会选择看或不看）。因此个性化配图的选择问题是在传统推荐系统问题的顶端，这中间的算法必须协同解决这个问题。当然，要明白究竟如何个性化配图，我们需要收集大量的数据去找寻对用户来说一张配图明显好于其他配图的信号。

另一个挑战是去了解当我们给一个用户推荐某部影片时变换展示多张配图会有怎样的影响。配图的变换是否会使影片的辨识度降低，从而使用户很难再次从视觉上认出这部影片，比如，用户之前看到某张配图觉得有意思，但还没来得及去看。或是，变换成另一张更有吸引力的配图使得用户重新考虑了这部影片。显然，当我们找到更好的配图时肯定要更换之前的配图，但是持续的变换配图也可能会使用户产生疑惑。变化的配图也给问题的归因带来挑战，因为我们不知道究竟是哪张配图使得用户对影片产生了兴趣。

接下来的挑战就是去理解同一页或同一板块所展示的不同影片配图之间会相互产生怎样的影响。也许用主角英勇的特写镜头作为影片配图很合适是因为其在众多图片中格外引人注目。但是如果所有的电影都是这样的配图，那整个页面可能就不会很吸引人。所以把每张配图孤立地去挑选还远远不够，我们需要考虑如何使同一次展现在一个页面上的配图变得多种多样。除了同一页面上其他影片的配图可能存在的影响，一张影片配图的有效性也可能取决于其他对影片的介绍（比如故事梗概、预告片等）。因此，我们需要做出多样化的选择，强调用户对于影片的不同兴趣点，使其效果互补。

为了达到有效的个性化设置，我们还需要为每部影片准备一个图片集。这意味着图片集中的每张图片都是能够吸引人的、有一定信息量的，并有代表性的而不是“标题党”。每部影片的图片之间也需要有足够大的差异去吸引有着不同喜好兴趣的潜在观众。归根结底，一张配图的有效性和信息量其实取决于看到的不同的人。因此我们不仅需要配图突出同一电影中的不同主题，还需要突出不同的审美。我们的画家和设计师团队努力地去创造在不同维度风格迥异的配图。他们在创作过程中也把个性化配图挑选的算法考虑其中。

最后的难题是在技术上进行大规模个性化配图。一个挑战是用户体验是通过视觉的，所以需要大量的图像。对每个作品进行个性配图，服务器要处理峰值每秒超两千万的低延时请求。这样的系统一定要是稳定的：不能快速完整地显示出这些配图会很大程度上降低了用户体验。我们的个性化算法也需要在新片上映时快速响应，即便是在一无所知的情况下也能快速学习。在此之后，算法需要不断适应，因为配图的效果可能随影片的生命周期和观众口味的变化而不断变化。

“上下文老虎机”方法

Netflix大部分的推荐机制都是采用机器学习的算法。传统方式上，我们会收集一组用户如何使用我们服务的数据，然后在这组数据上采用一种新的机器学习算法。接下来我们会通过A/B测试的方式测试这个算法与当前的系统进行比较。A/B 测试通过一组随机的用户数据去测试新的算法是否比当前的系统更好。A组的成员会得到通过现在的系统生成的图片而B组会得到新的算法所生成的图片。如果B组的用户在Netflix有更高的转化率，那我们就会把这个新的算法推广到整个客户群。但有一点不好的是，这种方式会产生损失（Regret）：许多用户在很长一段时间内无法得到这种更好的用户体验。下图展示了这一过程：

为了降低损失（Regret），我们不再采用批量机器学习的方式，而是考虑在线机器学习。针对配图的个性化定制，我们采用的线上学习框架是“上下文老虎机”（contextual bandits）。相比于以前等着收集一整批次的数据，等着学习一个模型，然后等着一个A/B测试来得出结论，“上下文老虎机”能针对每个用户和情境快速找出最优的个性化配图选择。简要地说，“上下文老虎机”是一类在线学习算法，这类算法通过在一个变化的情况下不断将所学模型应用于每个用户情景的好处来平衡收集足够的数据去学习一个无偏模型的代价。在我们之前非个性化的图片筛选框架中，我们用的是“非上下文情境的老虎机”（non-contextual bandits），这种方法在寻找最佳配图时不考虑上下文情境。而对于个性化来说，用户就是上下文情境，因为我们期望不同的用户对配图有不同的回应。

“上下文老虎机”的一个重要属性是它们天生就能将损失（Regret）最小化。“上下文老虎机”的训练数据是通过在学习模型的预测中注入受控的随机化变量获得的。随机化方案的复杂程度可以变化，从具有均匀随机性的简单ε贪婪公式（epsilon-greedy formulations）到能够根据模型的不确定性自适应地改变闭环方案。我们笼统地称之为数据探索（data exploration）。一个影片的所有备选配图数量和系统部署到的用户总体大小决定了数据探索策略的选择。有了这样的探索，我们需要记录关于每个配图选择的随机化的信息。这个记录允许我们修正偏斜的选择倾向，从而如下所述，用不偏倚的方式执行离线模型评估。

由于实际上有的用户的配图呈现选择可能并不会用那次预测中最好的图像，所以“上下文老虎机”里的数据探索一般都是有一定代价的（Regret）。这一随机化对于用户体验（进而对于我们的指标）有怎样的影响呢？对于超过一亿用户来说，数据探索导致的损失（Regret）一般都很小，而且被隐式地分摊到了我们庞大用户群的每个用户，来帮助提供目录中的一小部分配图的反馈。这使得平均每个用户的数据探索代价微不足道，这对于选择“上下文老虎机”来运转我们用户体验中的关键部分，是一个非常重要的考量。如果数据探索的代价很高，那用“上下文老虎机”做随机化和数据探索就会不太合适。

在我们的线上探索方案中，我们获得的训练数据集记录了对于每个（用户，影片名，图片）元组，其对应的影片是否被播放。此外，我们还能够控制数据探索使得配图筛选结果不要改变得太过频繁。这使得特定的配图与用户是否播放影片之间的归因变得清晰。我们还通过关注用户参与的质量来仔细地确定每个观察值的标签，从而避免学习的模型推荐了“标题党”图片：那些诱使用户开始播放，但最终导致低质量参与（很快就关掉）的图片。

模型训练

在这个线上学习的设置中，我们训练“上下文老虎机”以基于用户的上下文情境为每个用户选择最好的配图。我们一般对每个影片有几十个备选图片。为了学习一个筛选模型，我们可以考虑这个问题的一个简化情况，就是为一个用户对各个影片所有的备选图片进行排序。即使是用这个简化版本，我们依然可以学习到用户不同影片下的图片偏好，因为对于每张备选图片，我们都有一些用户是被展示了图片且选择播放了影片，也有一些用户是被展示了图片但并没有选择播放影片。这些偏好可以用于建模来预测对于每个（用户，影片名，图片）元组，用户会成为高质量参与者的概率。这些可以是有监督的学习模型，或者是“上下文老虎机”结合Thompson抽样，LinUCB或贝叶斯方法，来智能地平衡，使数据探索做出最好的预测。

潜在的信号

在“上下文老虎机中”，上下文情境通常作为一个特征向量输入到模型中。对于这个问题，我们可以用许多信号来作为特征。通常，我们可以考虑许多用户的属性：他们已经播放过的影片名，影片的类型，用户对于特定影片名的互动，他们的国家，语言偏好，用户使用的设备，登录的时间段和星期几。既然我们的算法在选择图片时结合了我们的个性化影片推荐引擎，我们就也可以用其多种算法推荐的影片（并不考虑到底用什么图片来代表）来作为信号。

一个重要的考量是在备选池中，有些图片本身就比其他一些要更好。我们观察了在数据探索中所有图片的采纳频率，就是有效播放次数除以图片出现的次数。我们之前的非个性化配图筛选模型就是用图片的采纳率差异来选择一个对于整个用户群最优的图片。在我们新的上下文个性化模型中，采纳率仍然很重要，而且个性化模型依旧会重获那些在非个性化模型排序中处于平均水平的选择。

图片筛选

对一个用户最佳配图的设置问题其实是在一个影片的可选图片池中找到最佳图片的筛选问题。一旦模型像上面说的那样训练完成了，我们要用它对每个上下文情境中的图片进行排序。模型预测了在情境中一个给定用户看到一张给定图片后的影片播放概率。我们用这些概率对这套备选图片进行排序，然后选出概率最高的那个。那就是我们展示给那个特定用户的配图。

模型表现评估

线下

在模型上线部署于真正的用户之前我们需要对“上下文老虎机”算法（contextual bandit algorithms）进行评估，我们可以用一个叫做重播（replay）的线下评估方法[1]。这个方法允许我们根据记录的探索数据回答反事实问题（图表1）。换句话说，我们能够在线下比较：如果我们无偏地使用不同的算法，在不同情况下的历史场景中会发生什么。

图表1：一个简单的例子，根据记录的数据计算了重播测试的指标。对于每一个用户，出现了一张随机的图片（第一行）。系统记录了该次展示以及用户是否播放了这个影片（绿色圈代表播放，红色圈代表没有播放）。一个新模型的重播测试指标是通过匹配找到随机安排和模型安排一致的用户（黑色方块）并计算这些用户中的图片采纳率得来的。

重播测试（Replay）使我们能够看到，如果我们假设展示的图片是用新的算法而不是已使用的算法得出时，用户是如何反馈的。对于图片来说，我们对几个指标感兴趣，尤其是之前描述的采纳率。图表2展示了“上下文老虎机”方法相对于随机选择或非“上下文老虎机”如何帮助提高目录中的平均采纳率。

图表2：对于不同算法，基于重播记录的图片探索数据的平均图片采纳率（越高越好）。随机方法（绿色）随机选择一张图片。简单老虎机算法（黄色）选择最高采纳率的图片。“上下文老虎机算法”（蓝色和粉色）根据上下文为不同用户选择不同的图片。

图表3：基于用户类型做的上下文图片筛选案例。“喜剧”针对的是大多看喜剧的用户。相类似地，“浪漫”用户大多看浪漫爱情主题，“上下文老虎机”为倾向于喜剧的用户选择了Robin Williams（一个著名的喜剧演员）的图片，同时为倾向于浪漫爱情剧的用户选择了一张在接吻的情侣的图片。

线上

在线下实验了这么多不同的模型，并且发现了一些在重播测试（Replay）时有明显提升的模型之后，我们最终进行了一个A/B测试来比较最可靠的个性化上下文老虎机和非个性化老虎机算法的效果。正如我们猜想的，个性化起作用了，并且在我们的核心指标上表现出了显著的提升。我们还看到在线下重播测试时监测的数据和在线上模型观测到的数据间有合理的相关性。线上的结果还产生了一些有趣的发现。比如说，在那些对影片名没有过先前互动的用户身上，个性化的提升效果更大。这是合理的，因为我们会期望配图的展示对于那些不太熟悉这个影片名的用户来说更为重要。

结论

利用这个方法，我们已经在针对影片推荐和各项服务的个性化配图筛选上迈出了第一步。这为我们的用户发现新内容带来了一个有意义的进步，所以我们已经将这一服务开放给了每一个人！这个项目是不仅关注推荐内容还关注推荐给用户的方式的第一个案例。但是实际上还有许多机会可以去拓展和提升这个还处于初级阶段的方法。这些机会包括：开发尽可能快速启动的进行新图片和新影片的个性化处理算法，例如通过使用计算机视觉技术；扩展模型应用于其他类型的配图或其他影片描述上（比如影片梗概，诠释资料和预告片）。还有一个更加宽泛的问题：帮助艺术家和设计师找到应该加入什么样的元素以使得一个影片描述更加吸引人和个性化。

如果你对这类的挑战感兴趣，可以在文末留言讨论！对于这类项目，具有机器学习和/或计算机视觉的专业知识的讨论尤其令我们感到兴奋。

原文链接：https://medium.com/netflix-techblog/artwork-personalization-c589f074ad76

人工智能赛博物理操作系统

AI-CPS OS

“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS形成数字化+智能化力量，实现行业的重新布局、企业的重新构建和自我的焕然新生。

AI-CPS OS的真正价值并不来自构成技术或功能，而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化，这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合，没有颠覆现状的意愿，这些将不可能实现。

领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量，领导者必须在行业、企业与个人这三个层面都保持领先地位：

重新行业布局：你的世界观要怎样改变才算足够？你必须对行业典范进行怎样的反思？
重新构建企业：你的企业需要做出什么样的变化？你准备如何重新定义你的公司？
重新打造自己：你需要成为怎样的人？要重塑自己并在数字化+智能化时代保有领先地位，你必须如何去做？

AI-CPS OS是数字化智能化创新平台，设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端，可以帮助企业将创新成果融入自身业务体系，实现各个前沿技术在云端的优势协同。AI-CPS OS形成的数字化+智能化力量与行业、企业及个人三个层面的交叉，形成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置：

精细：这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切，进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。
智能：模型随着时间（数据）的变化而变化，整个系统就具备了智能（自学习）的能力。
高效：企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力，这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。
不确定性：数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验，其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域：技术、文化、制度。
边界模糊：数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长：

创造虚拟劳动力，承担需要适应性和敏捷性的复杂任务，即“智能自动化”，以区别于传统的自动化解决方案；
对现有劳动力和实物资产进行有利的补充和提升，提高资本效率；
人工智能的普及，将推动多行业的相关创新，开辟崭新的经济增长空间。

给决策制定者和商业领袖的建议：

超越自动化，开启新创新模式：利用具有自主学习和自我控制能力的动态机器智能，为企业创造新商机；
迎接新一代信息技术，迎接人工智能：无缝整合人类智慧与机器智能，重新
评估未来的知识和技能类型；
制定道德规范：切实为人工智能生态系统制定道德准则，并在智能机器的开
发过程中确定更加明晰的标准和最佳实践；
重视再分配效应：对人工智能可能带来的冲击做好准备，制定战略帮助面临
较高失业风险的人群；
开发数字化+智能化企业所需新能力：员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说，创造兼具包容性和多样性的文化也非常重要。

子曰：“君子和而不同，小人同而不和。” 《论语·子路》云计算、大数据、物联网、区块链和人工智能，像君子一般融合，一起体现科技就是生产力。

如果说上一次哥伦布地理大发现，拓展的是人类的物理空间。那么这一次地理大发现，拓展的就是人们的数字空间。在数学空间，建立新的商业文明，从而发现新的创富模式，为人类社会带来新的财富空间。云计算，大数据、物联网和区块链，是进入这个数字空间的船，而人工智能就是那船上的帆，哥伦布之帆！

新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。