双样本T检验详解

检验目标

检验两独立样本的均值是否相等，可用于AB实验场景

t分布.png

前提条件

两样本独立，服从正态分布或近似正态；AB实验中，虽然指标的样本分布可能不符合正态分布，但是根据中心极限定理，当样本量足够大时，指标的均值通常符合正态分布；

公式

总体方差不等且未知（ or ）

计算因子说明：

1. 
2. 
3. 
4. 

结论：

1. 对于要检验两总体均值是否相等的双侧检验，若根据样本数据算出来的
   统计量的绝对值|t|> ，则拒绝原假设，认为样本均值与总体均值不等，否则不拒绝原假设。
2. 对于要检验总体均值>单侧检验，若根据样本数据算出来的|t|>，则拒绝原假设，认为总体均值>，否则不拒绝原假设。
3. 对于要检验总体均值<单侧检验，若根据样本数据算出来的|t|>，则拒绝原假设，认为总体均值<，否则不拒绝原假设。

总体方差相等且未知，样本方差满足（）

计算因子说明：

1. 
2. 
3. 
4. 
5. 

结论：

1. 对于要检验两总体均值是否相等的双侧检验，若根据样本数据算出来的
   统计量的绝对值|t|> ，则拒绝原假设，认为样本均值与总体均值不等，否则不拒绝原假设。
2. 对于要检验总体均值>单侧检验，若根据样本数据算出来的|t|>，则拒绝原假设，认为总体均值>，否则不拒绝原假设。
3. 对于要检验总体均值<单侧检验，若根据样本数据算出来的|t|>，则拒绝原假设，认为总体均值<，否则不拒绝原假设。

如何确定最小样本数

均值类指标

公式参数说明:

1. 是实验组和对照组的指标差值，通常可以根据校验灵敏度MDE和指标均值计算得到；
2. 表示实验组和对照组的综合方差
3. 对于比例类指标，=,其中是对照组的指标，=+;

转化率指标

引用

1. https://zhuanlan.zhihu.com/p/138711532
2. https://zhuanlan.zhihu.com/p/26977856
3. https://mp.weixin.qq.com/s?__biz=MzI2MjE3OTA1MA==&mid=2247485911&idx=1&sn=a2cedc338f569fdf3f222320ea52a5fb&chksm=ea4e5852dd39d14427ec85ef0a1f3f8a05187ccf8f02745f3b186efb2ac7c105679c117a9487&scene=27