A/B测试支撑着产品的高速迭代发展，同时也沉淀着海量的实践和方法论

A/B测试支撑着产品的高速迭代发展，同时也沉淀着海量的实践和方法论。笔者在某头条做C端产品时，做了大量的A/B实验，快捷测试验证新功能。其中在2020年8月份，1个月做了12个A/B实验，带来明显的OKR指标提升，当月获得绩效最高档（盖章可查询）。给大家整理了一些A/B实验方法论，分享给需要的同学。

本文讲述如何更专业的做A/B测试，如何拿到更加置信的数据结论。后续会陆续给大家分享如何思考设计新的功能，确保A/B实验的正向率，避免成为A/B实验的终结者（结论总是负向）。

一、什么情况下需要做A/B实验？

大多数A/B实验建立在：当不确定哪种方案更有利于达成核心目标，不确定新的方案会不会对核心指标之外的其他指标造成负向影响，我们通过做A/B实验来进行测试。

关于A/B实验的功能场景，我们看个简单的例子：

场景还原：优化前的商品详情页展示商品价格以及该商品可以用的优惠券，如何提升商品的交易转化率呢，产品经理想：帮用户把券后价直接展示出来是否能提升转化率，能提升多少。

由于商品详情页是电商交易链路的核心页面，直接全量上某个功能，万一效果不好则影响巨大。通过切一部分流量进行A/B测试，密切观察实验数据、灰度发布是最佳策略。

大家熟知的今日头条、抖音、西瓜这些产品的名字，都不是产品经理或者业务负责人拍脑袋经验主义决策的结果，而是把不同名称的应用包上架到应用市场，看哪个名字的下载率和分享率最高，就用哪个。本质上通过A/B测试的思想，把产品决策权交给了用户。

二、怎样设计A/B试验？

A/B实验的整体流程：