AB test | 字节产品增长的法宝

2021 年 9 月 10 日 夕小瑶的卖萌屋

“A/B测试不一定是最好的评估方法。它不是万能的，但不会A/B测试肯定是不行的。”

字节跳动副总裁杨震原在一次分享会上，表达了他对于A/B测试的理解。

杨震原认为：A/B测试是字节跳动一项非常基础的工具，从公司成立之初就在使用，支撑了抖音、今日头条等产品的增长迭代。目前，字节跳动A/B测试每日新增1500+实验，服务于400多项大大小小的业务，累计做了70多万次实验。这项工具已经实现产品化，通过火山引擎向企业客户开放。

A/B测试广泛应用于字节跳动方方面面，包括产品命名、交互设计、推荐算法等。但杨震原表示，这项工具也存在很多应用局限，比如独立性、置信度、长短期等问题。

其实为了帮助提升创新产品的成功率，头条内部甚至研发出了一套增长引擎，可能你们公司的几个产品运营还在纠结功能按钮排序时，人家头条已经同时进行几十组甚至上百组的 A/B 测试，帮助产品经理和运营们找最优方案。

大数据时代，每个公司都在说数据驱动产品和业务的快速迭代，但是要看这间公司到底是不是真·数据驱动，最关键的就是要看它决策流程中到底有没有 A/B 测试这一环节，来提供值得信赖的结果，辅助产品决策。

产品决策流程

就好比一个刚刚研制成功的药品，不经过临床实验就直接推入市场，去治疗病人，那承担的风险是非常高的。因为这样不仅可能无法治愈病人，甚至还可能会产生严重的副作用。而A/B测试，就是保证这个关键环节不出现问题的最佳方案。

那用 A/B 测试，到底可以来解决什么具体的业务问题吗？我给你一张总结的表格。

可以说， A/B 测试在产品迭代、算法优化、市场营销等领域都发挥了巨大作用，越来越多的公司开始使用 A/B 测试，对人才的需求量也越来越大。无论是偏技术的数据科学家、数据分析师，还是偏业务和产品的市场营销分析师、产品经理以及增长黑客，都需要在工作中掌握和应用 A/B 测试，A/B 测试也是这些职位面试中必考的一块内容。

学习 A/B 测试的高效路径是什么？

但学A/B 测试有个难点。这是一门实践性很强的工具，如果你只有理论基础而没有实践经验，那么实践过程由于业务场景千变万化，可能就会有各种各样潜在的陷阱在等着你。只有兼顾了理论基础和实践经验，才能得出值得信赖的测试结果。

我这里有一套最佳学习路径流程，如下图👇

学习路径

这张图出自在美国硅谷科技巨头工作的张博伟和极客时间合作的专栏《A/B 测试从 0 到 1》。在专栏里，张博伟老师会先带你建立起一个做 A/B 测试的框架，让你在应对不同业务场景时，都能通过框架来按图索骥，灵活运用。

新人首单￥59.9

拼团+口令「happy2021」到手仅 ¥69

张博伟是谁？

张博伟，从毕业后就一直在美国互联网大厂 FLAG 工作，目前是一名资深数据科学家。在过去的7年多时间里，一直在做A/B测试、机器学习建模、大数据分析的相关工作。

张博伟老师曾参与从设计测试、实施测试到最后分析测试结果的全过程，后来逐步在团队中主导 A/B 测试领域的相关工作，开发相关数据产品，还和工程团队合作来改进内部的 A/B 测试平台，通过持续的 A/B 测试为公司的新业务带来上百万用户的增长，也为数据分析、营销和产品团队提供数十场 A/B 测试的讲座和上百次的咨询，讲解 A/B 测试的最佳实践以及避坑经验。

怎么带你学 A/B 测试？

张博伟老师结合他的从业经验，从统计原理、基本流程和进阶实战三个层面，为你梳理出了一条学习 A/B 测试的最佳路径。