一.开篇词
1.A/B测试是促进业务持续增长的最实用、最有效的方式
2.只有在决策流程中加入A/B测试这个环节,根据值得信赖的测试结果,而不是所谓的经验来做业务和产品决策时,才是真正的数据驱动决策
3.控制变量实验中实验组和对照组只能有一个因素不同
二.统计基础
1.不管随机变量的概率分布是什么,只要取样时的样本量足够大,那么这些样本的平均值的分布就会趋近于正态分布
2.对于A/B测试来说,要选用双尾、双样本的比例检验(概率类指标)或T检验(均值类指标)
三.确定目标和假设
1.目标和假设确定三步:a.分析问题,确定目标 b.确定大致的解决方案 c.确定假设
2.确定指标:确定评价指标,指标确定假设是否成立,指标要全面,要考虑指标波动范围,不能简单依靠单点比较
四.实验单位
用户id,页面流量访问,页面本身
选择依据:
用户体验连贯,实验单位与评价指标单位一致,样本足够多
五.样本量选择
![](https://img.haomeiwen.com/i6504578/9c32261661f533a6.png)
网友评论