新闻客户端AI推荐系统解析

2018 年 1 月 12 日 产品经理读书会 小乐帝

最近“百万英雄”类问答模式风头正劲。给全民投机社会大背景下,提供了一种新的一夜暴富渠道。移动互联网在人口红利消失后,找到了新的廉价流量渠道。再次印证了互联网本质上是流量生意,生意得以进行有赖于流量获取成本小于流量变现收益。“红包”、“百万英雄”只是不同于传统渠道获取流量的玩法,推荐系统则是移动互联网合理分配流量,并最终留住流量并助力商业化的产品形态。

渠道与推荐系统

通过以上分析不难发现主流移动互联网产品渠道和推荐系统起到了关键作用。小乐帝当年做新闻客户端时,就发现升职加薪和荣誉最多的莫不是渠道组和推荐组同事,客户端大领导也因为做推荐从边缘人物登上大位。同时也由于这两年推荐业绩不佳,被腾讯系推荐团队力量所取代。真是成也推荐,败也推荐。

推荐价值最大化

推荐系统本质上是解决信息过载的问题。因此在新闻客户端应用AI推荐系统就需要满足几个条件:足够丰富和优质的内容、满足用户需求的内容场景和满足推荐调优的产品功能。

从这个视角来看,小乐帝之前做的客户端产品经理,需要从丰富内容展现、挖掘新内容场景及提供用户对推荐反馈来开展工作。这样才能围绕内容分发价值最大化,最终实现产品和商业价值最大化。

奈何小乐帝所处门户公司有媒体属性的历史包袱,并非推荐技术导向公司。因此回头来看并未围绕产品和商业价值最大化方向发展。公司部门之间、部门小组之间各自为战,无法形成合力,造成严重内耗。产品、运营、推荐各自考虑自身收益。目送今日头条走向巅峰之路。仍不能理解推荐产品之奥妙。

今日头条倒是给我们做了如何将推荐价值最大化的参照。

今日头条扶植自媒体和短视频的战略,一方面满足移动端用户对内容快消费的需求,一方面也为自身推荐内容源提供了大量的物料。从大数据角度讲,今日头条获得了AI技术公司最重要的生产资料:数据。

今日头条推荐场景挖掘上国内首创了推荐流做内容分发,并后续做了视频和微头条、关注三大推荐场景。

推荐调优则体现在首页不感兴趣并细化理由,详情页内喜欢或不感兴趣以及其他隐性正反馈如收藏、评论、分享等。

不难发现,以推荐系统价值最大化为出发点,整个产品构建目标明确并可以成体系迭代。小乐帝之前做产品出发点更加“玄学”,根据用户反馈或其他各方力量博弈信号,体现在推荐系统业务目标上,则显得三天打鱼两天晒网了。

物料库构建

新闻客户端物料库构建既要考虑到用户需求也要考虑到自身资源。小乐帝之前东家由于财力有限,构建推荐物料库主要集中在原有合作媒体图文内容、抓取网络内容、旗下视频平台PGC短视频、旗下直播平台直播内容、第三方合作小说内容、美女动态内容。相较于今日头条而言,以上物料库构建目标并非构建物料库,第一目标更多是公司内交叉营销,产品之间互相带量刷KPI逻辑,物料量以及质量并不能保证。

头条则更加激进。起初抓取全网内容,后续构建了自媒体平台和媒体合作并做到了极致,不断增加了问答、小说、短视频、动态、直播等内容,后续更是独立出了悟空问答、西瓜短视频、火山小视频、抖音短视频、火山直播等现象级应用。物料库足够大和多样,这是一般新闻客户端平台所无法匹敌的。

物料召回

小乐帝之前由于做推荐理由需求对召回渠道有过大致了解但不懂,以现在的视角,再回顾则清晰很多。

召回渠道基本由协同过滤(user-CF、item-CF)、最新、最热、长期兴趣和短期兴趣等构建。协同过滤和最新最热在通用推荐系统中较为常见。这里重点分析下长期兴趣和短期兴趣构建方式。

新闻客户端采用了两种方式给文章打标签:自动聚类和半监督机器学习。自动聚类自动给文章形成标签,半监督聚类则是通过打标签人员给文章打标签,并训练构建模型自动打标签。以上两种方式构建的标签形成了标签系统。

将客户各类用户行为进行日志记录分析提取,就可以将用户与标签建立映射关系,短期映射关系构成短期兴趣,长期映射关系构成长期兴趣。

以上召回策略都会涉及冷启动的问题。当一个新用户开始使用产品时,如何快速收集用户兴趣,是每个产品都要遇到的问题,通常有两种策略:直接引导客户告知兴趣和通过热门常见内容引导客户点击,在不同产品中各有优势。

模型排序

各个渠道召回后,需要将召回结果进行排序。小乐帝在职时盛传客户端排序算法两年没有更新,不知真假。但这里需要说明的是模型排序在实际点击上不一定打分越高点击率越高,也要考虑到用户使用设备屏幕阅读习惯等因素。同行业模型排序方法大同小异。由于这一步采用机器学习各类算法,因此模型排序是最AI的步骤。

规则过滤

小乐帝做C端产品时,每日用户反馈中,经常有涉及内容过时或重复的反馈。考虑到问题一直存在,应该是当时过滤规则有些许漏洞,同时打底策略不完善导致。

效果反馈

经过以上召回、排序和过滤后,推荐系统将推荐结果经由服务端下发给客户端并最终渲染展示给用户。推荐效果的反馈一方面体现在统计报表上,一方面体现在用户主观感受上。后者就需要在产品设计上提供客户对内容评价的入口。如不感兴趣及细化理由、对正文页喜欢或不感兴趣,再甚者去用户反馈入口反馈问题。

小乐帝做新闻客户端时,曾涉及排查留存率下降的原因,经过比对发版时间与客户端留存下降时间段,并非发现吻合点,可判断与产品更迭无关。更多可能体现在内容源和推荐质量上,而当时由于不了解推荐系统,同时部门墙的存在,导致无法进一步求证。

总结

经过几个月的焦虑与挣扎,小乐帝在AI推荐系统这条路上已经走出了些距离。To C转AI

To B并不简单,但从现在的视角回看当年的工作内容与环境,仍有认知上的提升。推荐系统日新月异,仍需努力。

拥抱AI时代到来,欢迎加入AI产品经理探索小组QQ群:634414026







「产品经理读书会」

专注于爱读书爱思考的产品人提供读书推荐、产品思考、以书会友的环境

欢迎爱读书的产品人分享产品道路上的感悟

投稿邮箱:booksforpm@126.com



登录查看更多
9

相关内容

推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
商业数据分析,39页ppt
专知会员服务
157+阅读 · 2020年6月2日
近期必读的5篇顶会WWW2020【推荐系统】相关论文-Part2
专知会员服务
68+阅读 · 2020年4月7日
专知会员服务
121+阅读 · 2020年3月26日
《代码整洁之道》:5大基本要点
专知会员服务
49+阅读 · 2020年3月3日
【德勤】中国人工智能产业白皮书,68页pdf
专知会员服务
295+阅读 · 2019年12月23日
深度 | 推荐系统评估
AI100
24+阅读 · 2019年3月16日
推荐系统
炼数成金订阅号
28+阅读 · 2019年1月17日
一张图理清电商后台产品模块,90%的电商类产品后台都适用
人人都是产品经理
8+阅读 · 2018年12月9日
爆料 | 解析阿里妈妈如何将深度学习应用在广告、推荐及搜索业务
机器学习算法与Python学习
5+阅读 · 2018年5月14日
今日头条推荐算法详解(PDF下载)
机器学习算法与Python学习
17+阅读 · 2018年2月27日
今日头条推荐算法原理全文详解
架构文摘
7+阅读 · 2018年1月30日
推荐|今日头条公布其算法原理(全)
全球人工智能
7+阅读 · 2018年1月16日
【推荐系统】深度解析京东个性化推荐系统演进史
产业智能官
23+阅读 · 2017年12月8日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
Arxiv
5+阅读 · 2019年10月11日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Arxiv
8+阅读 · 2019年5月20日
Arxiv
30+阅读 · 2019年3月13日
Explanatory Graphs for CNNs
Arxiv
4+阅读 · 2018年12月18日
Next Item Recommendation with Self-Attention
Arxiv
5+阅读 · 2018年8月25日
Arxiv
13+阅读 · 2018年4月18日
Arxiv
3+阅读 · 2018年3月29日
Arxiv
8+阅读 · 2018年2月23日
VIP会员
相关资讯
深度 | 推荐系统评估
AI100
24+阅读 · 2019年3月16日
推荐系统
炼数成金订阅号
28+阅读 · 2019年1月17日
一张图理清电商后台产品模块,90%的电商类产品后台都适用
人人都是产品经理
8+阅读 · 2018年12月9日
爆料 | 解析阿里妈妈如何将深度学习应用在广告、推荐及搜索业务
机器学习算法与Python学习
5+阅读 · 2018年5月14日
今日头条推荐算法详解(PDF下载)
机器学习算法与Python学习
17+阅读 · 2018年2月27日
今日头条推荐算法原理全文详解
架构文摘
7+阅读 · 2018年1月30日
推荐|今日头条公布其算法原理(全)
全球人工智能
7+阅读 · 2018年1月16日
【推荐系统】深度解析京东个性化推荐系统演进史
产业智能官
23+阅读 · 2017年12月8日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
相关论文
Arxiv
5+阅读 · 2019年10月11日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Arxiv
8+阅读 · 2019年5月20日
Arxiv
30+阅读 · 2019年3月13日
Explanatory Graphs for CNNs
Arxiv
4+阅读 · 2018年12月18日
Next Item Recommendation with Self-Attention
Arxiv
5+阅读 · 2018年8月25日
Arxiv
13+阅读 · 2018年4月18日
Arxiv
3+阅读 · 2018年3月29日
Arxiv
8+阅读 · 2018年2月23日
Top
微信扫码咨询专知VIP会员