简单理解“标准差”
上一篇在关于百分比的案例，我们提到一个常见的问题。
5月负面指标百分比是10%，6月是8.3%，是否就能说明改版有效果呢？
答案是不见得！
因为有可能是正常波动，也有可能是统计误差（就算产品经理做了A/B测试，也必须承认存在误差），此时我们需要引入标准差的概念。
标准差是衡量离散的指标，反映了分散在平均值周围的数据的聚合程度。
对于许多典型的数据分布来说，有很大比例的数值都位于它们的平均数的某个标准差范围以内，也就是说，这些数值有的比平均值大，有的比平均值小，但都是在一个正常范围之内的。
比如，英语四六级考试的平均分为500分，标准差为100，意思是大部分参加考试的学生的成绩都会在一个标准差范围内浮动，比如400～600分。
那么，又有多少名学生的成绩会高于700分呢？估计不会有很多，因为好的考卷，最后的分数一定会呈现正太分布，700分比平均分高出两个标准差还要多。
如何评估显著性
而对产品经理日常遇到的改版来说，恰恰需要考虑的就是在评估阶段必须充分考虑误差，去进一步判断改版后数据变化的显著性。
卡方校验
卡方检验（chi-square test）：主要验证两个总体间某个比率之间是否存在显著性差异。
适合场景：A/B测试结果、商品合格率、网站的弹出率／退出率、订单的转化率。
怎么计算：网上有很多简单的四格卡方检验的模版，输入数字即可。
T 校验
T检验（T Test）：主要验证总体均值间是否存在显著性差异。
适合场景：结果属于正态分布的数值型数据，比如PV、UV、页面停留时间、订单量、销售额。
怎么计算：Excel 就可以计算，查找数据分析工具，选择“t检验：平均值的成对二样本分析”，输出检验结果。产品经理可以不用太多关注如何计算的，简单来说，只看“单尾P值”就可以，该值小于0.05，就可以认为改版后存在显著性差异，具有95%的置信区间。
案例
采用改良后的页面有可能使销售额提高到原来的1.01倍（9.6%÷9.5%），这真的是改版带来的吗？
对结果进行卡方检验之后，发现实际上两者之间没有任何区别，只是因为数据的误差导致出现这种程度（10万人中有100人或者更多）区别的概率为44.7%。
因此结论是，这属于误差或者是正常波动，与改版没关系。
虚拟案例
网友评论