AB测试方式及数据验证

前言

参加产品工作已经一年有余，负责一个成熟公司不成熟部门的网站产品，每天基本上都是疲于奔命，工作内容基本上是：A领导提的新需求，B领导提的新需求，C竞品改版了借鉴优化下，D竞品优化了借鉴优化下......终于在今年，同一领域的一个新玩家裹挟着巨量的资本入场，几乎买断了一切的流量入口，于是网站的流量和转化每日俱下。面对一个10年以上的行业，和一款10年以上的网站产品，形态已经定型多年，行业内就是你抄我我抄你。而现在新玩家带来的变化，彻底改变了游戏规则，现行的产品下一步如何走，我能提出一个方向就是：AB测试。

确定产品可操控下的指标

参照国外精益创业的思路，产品必须有一个可测量的目标，也称为“北极星指标”。

《精益数据分析》中关于优质数据指标的标准：

有比较性

简单易懂

最好是一个比率

有了目标，下一步就是在公司体系能推动AB测试体系的建立。如果有钱的话，这一步可以直接通过购买第三方的AB测试服务。

AB测试流程

1、确定实验样本

AB测试，是测试某个需求实现的表现，由于需求针对的用户，或者目标各有不同，测试的样本有时候也需要有针对性。另外，产品的形态也会影响AB测试的样本选取，例如网站可能就是针对UV用户进行测试，而一个APP可以选取登录用户，也可以选取打开APP的日活用户。

确定了实验样本的范围，还要确定如何选取实验样本。

最普遍的，就是随机选取用户，通过随机性消除用户差异，地域差异，场景差异等一系类可能导致实验数据出现偏差的差异。

网站产品，可以通过在用户cookie中生成随机的编号，再通过数学特性，从编号中无差异选取实验用户。例如：将编号尾号为1的定义为实验组，尾号为2的定义为对照组。

确定实验样本是AB测试的基础，确定一套可行方案后，便可以在此基础上开站实验。

2、选定实验指标

无论是优化改版，还是一个新需求同时上线不同版本就行测试，每一此实验都需要在开始之前制定一个最核心的衡量标准。这个标准直接决定AB测试中成功的版本是哪一个，也就是决定最终上线的功能形态是哪一个。同时需要注意的是，该指标必须是实验中的唯一变量，尽可能排除其他的干扰因素。

电商网站可以是商品的下单率，加入购物车率；社交产品可以是用户消息回复率；邮箱等工具可以是日活等。

3、确定实验周期

产品在使用上有时候呈现时间周期，例如：工具类应用在工作日活跃度要高于周末，电商产品在活动促销日成交率更高，而微信这样的社交产品每日没什么差别。AB测试的实验周期需要尽可能减少产品时间周期的影响，因此工具类的实验周期应该是一个自然周，电商产品在AB测试的时候需要避开活动日。

4、确定样本数据

AB版开发完了，如何将其分发到用户手中，就是这一步需要考虑的。第一步中对用户进行了分组，样本的分发可以直接按组分发。也可以通过更加复杂的方式进行分发，例如按照用户活跃度分组后分发等。

AB测试相关的内容

1、吆喝AB测试云对于AB测试的定义：http://www.appadhoc.com/

2、GIO关于AB测试的介绍：http://blog.growingio.com/