A/BTest

A/BTest设计原理

将测试内容定为两组流量的唯一变量，保证其他条件相同，通过对比测试，观察被测试的部分是否达到预期。

分流原则

1.关注评估测试效果的数据指标

2.关注数据分布之离散程度与分布形状

离散程度

两组数据核心指标的历史均值一致，不能说明两组数据完全一样，均值反应数据的集中趋势，只是描述数据的维度之一

还应该关注数据的波动情况以及分布的形状

历史波动：波动反应的是数据的离散程度，实际操作中，因为标准差和均值的单位是一致的，通常选取标准差描述一个波动范围更为方便。→A/BTest中，需知道A、B两组的标准差

分布形状

形状主要指两组数据的对称程度、偏斜程度以及扁平程度

总结（对数据进行多维度分析比较）：

a.两组数据均值的差值是否小于正常波动，保证两组数据足够差异小。

b.组内标准差分别与指标对比，判断数据本身波动是否足够小，保证数据本身稳定。

c.两组标准差对比，以保证两组数据的波动情况类似。

d.两组数据的分布对比，判断是否相同。

常识

组内标准差小于指标的5%，可认为没有波动，如果在5%～10%之间，需要分析波动大的原因，如果超过10%，则需要判断是因为数据量小，自然波动大，还是分组并没有达到随机，导致波动过大，并考虑重新分组。

效果评估

1.关注核心指标的增长效果

分析两组流量的最终效果，计算核心指标的绝对值与变化率，以及两组的自然波动，作出判断

例子

如果变化率为负，和标准差对比，是否为正常波动。不管是正常波动还是显性降低，都说明本次功能点或者策略效果不理想，需要分析原因，调整策略或者启动planB、C、D…继续测试。

如果变化率为正，同样与标准差对比，判断是否为显性增长，如果要严格区分自然波动与增长效果，需要用增长效果数据减掉自然波动绝对值。

2.关注数据分布的变化

即使核心指标为显性增长，依然要关注两组数据的分布形状是否仍然相同，对比历史数据，观察发生什么变化，思考影响变化的原因，是否新的调整导致两组用户群的使用习惯发生了其他方面的改变。

补充

百分率与百分点

数据本身为xx率的情况下，效果评估中两组数据对比后的增长率和增长百分点均为百分数形式。

百分率可作为增长效果评估与汇报数据。

百分点则要作为辅助指标，与波动（一般为平方差）对比，说明数据的有效性。