本篇文章讨论通过假设检验来验证A/B测试是否影响用户的行为，验证你选择的变量是否为随机的。
登陆页转化率
测试的对象是一个包含注册表格的登陆页，测试的目的是找到最大的转化率的一种页面布局。其中转化率定义为将访客变为用户的比率。
现有四组实验，其中包含一组对照组和三组实验对照组。
对照组和实验组的转化率对比
从上图中，我们可以观察得知A组和C组的转化率提升都大于20%,符合我们的预期目标。另外，你将认为C组的数据明显优于A组，C组数据应该是最佳实验组。但是，不能确定的是这种差异是否优于随机的原因。假如188个实验对象中只有10个是真正的访客呢？
在这里我们设置95%的置信区间来进行假设检验。
验证的统计方法
在本例中，零假设为对照组的转化率不小于实验组的转化率。公式如下：
其中Pc是控制组的转化率，p是其中一组实验组的转化率。实验的目的是实验组的转化率高于对照组。
样本转化率一般符合正态分布，在此实验中，需要验证的是转化率是否与控制组相差太远。下图分别是对照组和实验组转化率的分布图。
现我们定义一个新变量X=P-Pc，因此零假设变成：
Z-score
X变量的Z-score为：
其中，N为实验组中样本的数量，Nc为控制组中样本的数量。
在抛硬币的实验中，95%的置信区间，所对应的Z-score为1.96。如果说，出现“头部”图案的比率过高或者过低，则拒绝零假设。该实验中的零假设为p=0.5.
在登陆页转化率测试中，零假设为X<=0.
也就是说，如果实验组的转化率明显高于对照组，拒绝零假设。如下图所示：
如果Z-score的值大于1.65（95%的置信区间），则拒绝零假设。
结论
由上表得知，C组的z-score值大于1.65,拒绝原假设,则认为p>pc，即实验组大于对照组。保留C组，遗弃A组。
有以下几点提示：
- 每组实验的 转化率符合正态分布
- 验证的是实验组与对照组转化率之差
- 转化率之差也符合正态分布
- 只验证转化率之差是否大于0，所以只需z-score评分1.65，对应的是正态曲线的正半部分。
统计方法对于A/B Test的意义在于进行的测试是否充分。或者可以验证，转化率提升20%的前提下，需要进行多少测试才够量。
注：文章翻译自：Statistical Analysis and A/B Testing
网友评论