首先,什么是策略产品。举几个策略产品例子:搜索、推荐、反作弊、广告。策略产品专注于“策略”,将已有的数据/资源,通过具体策略转换成服务提供给用户使用。由于笔者经历主要是搜索排序类产品,因此本文的一些经验也是基于搜索排序类产品,如有不通之处,欢迎批评指出。
策略产品经理通用的工作流程:需求挖掘→策略设计与开发→效果评估与上线。下面就每个环节谈下策略产品的工作内容和方法。
策略产品常见的需求挖掘方法有4种。
1、 case分析
Case分析是通过对现有情况的调查分析,来确定策略改进方向。由于case表现的是真实用户体验,通过分析case能最直接发现用户体验问题,因此case分析法是策略产品经理最需要掌握的需求挖掘手段。
Case分析首先要获得case,有两种具体操作方式。一是使用策略产品对应的客户端进行体验,比如要分析微信发送位置地址描述的表现,可以打开发送位置客户端界面,随机选点体验位置描述。另一种是抽样提取策略访问日志,这种方式脱离客户端的实际展现,但是可以做到抽样合理,同时也能避开客户端交互体验等影响,使分析者更集中于case的内容表现,又能方便地把case汇总在一个表格中,便于归纳整理,因此是case获取常用的方式。
在获得case之后,我们就可以对所关注的内容进行分析了,比如用户搜索请求类型和占比、排序的效果和badcase分布等等。
2、 数据分析
与策略产品相关的数据有两种,一是策略应用到的数据,二是策略产生的数据如流量、点击、转换等。此处“数据分析”指的是后者。策略产品产生的这些数据往往体现了用户需求、商品供应、情景、市场变化等情况,可以从中发现机会,进行策略优化。例如,分析地图POI检索的点击,发现白天时用户更倾向于选择商务楼宇类POI,而到晚上则选择休闲娱乐类的POI,于是我们就可以根据时段来调整POI排序。数据分析需要对业务充分熟悉,并且能进行拆解,进行假设验证、因果推导。由于不同策略产品的数据关注点不一样,这里不做详解。
比较case分析和数据分析两种方法,不难发现,case分析是自下而上的,从样本出发发掘整体问题,而数据分析方法偏宏观,是从全量数据角度出发。实际工作中需要将这两个方法一上一下结合,才能更好的发现问题和机会,制定需求。
3、用户反馈
策略产品同样会收到用户反馈,比如搜索找不到某某结果等。这些用户反馈就是badcase。除了用户主动反馈之外,还可以组织用户访谈,和策略相关方进行沟通,倾听用户诉求。另外,策略产品的工作集中在后台,前台展现往往相对比较简单,所以能够比较容易地设计一些体验工具,发给用户进行众包体验,从而收集用户反馈。
4、业务/运营需求
有时你会遇到这些情况:1)近期有某个重大运营活动,搜索排序时需要将该活动固排首条;2)电商公司刚和A供货公司签订重要合作协议,需要推荐策略照顾下A公司的产品;3)出行类软件新推出推荐上车点服务,可以多返回些门、交叉口等供用户作为起点选择。以上就是策略产品经理可能会遇到的业务/运营需求。这些需求,有一些是合作方主动提出的,而另一些则是要策略产品经理深入到业务应用场景去发现的新机会。结合应用场景的深度需求挖掘,是策略越来越精细、越来越符合用户预期的重要步骤。
相信不少新进策略产品经理都遇到过这样的感受:“策略研发主导,光找badcase、分析badcase了,感觉一直是在给研发打杂”。这是因为,策略产品的技术门槛相对较高,刚入门的产品经理对现有策略的熟悉程度通常不如开发,所以具体的策略设计一般由开发主导。而“策略”是策略产品的核心,不能亲刀进行策略设计,就容易有“打杂感”。所以,策略产品经理一定要主动参与到策略设计中。那么,该如何进行策略设计呢?
策略设计第一要点——全局感。全局感,首先要求产品经理对现有策略有通盘认知。不懂就问,和RD一起还原现有策略产生的背景和逻辑,做到心中有底,才好动笔设计。全局感的另一个要求是“平衡”。做策略总会遇到“按下葫芦浮起瓢”的事,一个策略会解决掉部分badcase,但又会出现新的badcase。这种情况在所难免。这时候就需要全局的平衡。
策略设计第二要点——技术感。无可否认,策略产品是一个相对技术密集型产品。要想做好设计,就需要对技术有所了解。比如现在很多策略产品都会引入机器学习。产品经理需要了解常见的机器学习算法,以及自己所负责的产品适合哪几种。在策略设计与开发过程中,产品需要为机器学习定义成果标准,参与特征选取讨论,组织标注训练集等等,这些工作都离不开一定的技术知识。
策略设计第三要点——合作感。产品和工程师这对CP,再相爱相杀也要密切合作。产品经理在做策略时,需要理解工程师对“如何实现”的考虑,要学习工程师是怎么考虑产品的过去、现在和将来,而不是只关注于产品现阶段要完成的样子,否则极易掉入过去的坑,又给未来挖坑。充分理解、尊重和信任开发工程师,互相合作,共同达成“完成当前的需求,填上过去的坑,不给未来留坑”的理想目标。
策略的迭代,是为了能提升效果。因此,策略上线前需要先做效果评估。那么,如何做效果评估呢?
如果你所负责的产品有点击率、使用率等客观监控指标,评估相对容易些,可以先做个离线评估,再来个ABtest,最后再全量上线验证。
如果没有点击率等客观指标,又或者需要评估用户体验(点击率高不一定体验就好。有时只是因为没的选,有更好选择时用户就流走了,这时点击率等指标可能会骤降。所以不能唯点击适从,还要关注体验),这时候就要上人工评测了——合理抽取case交给人工来进行效果评估。由于不同人感知不同,定会产生评测误差,因此产品经理需要制定明确的评测标准和流程规范,以指导大家尽可能在同一标准下评测。
一般来说,当我们评估用户体验时,可以用满意度打分法。下面是一个分值和满意度的评估标准样例,告诉评测人员应如何打分。
当我们评估模块专项效果时,则常用到“精度”“召回”两个指标。“精度”和“召回”涉及“该出”“不该出“的标准界定,这个标准则需要结合具体的业务场景去做拆解。
另外,进行效果评估,不单单是为了获取满意度、精度、召回等指标,更重要的是发现问题,寻找下一迭代优化点。因此在效果评估过程中,还需要注意分析点击率等指标变化的原因(数据分析挖掘需求),或是收集评测人员对于评测case不满意的原因(case分析挖掘需求)。至此,我们将上一版的效果评估和下一版的需求迭代打通,形成环路,螺旋演进优化,让策略越来越有效,产品体验越来越好!
作者:陈婷,腾讯MIG地图平台部数据中心,高级产品经理。现负责腾讯地图位置描述服务及面数据相关工作。