P值

p值是0到1之间的数字，在这个例子中，它量化了我们对药物A与药物B不同的信心程度。p值越接近0，我们就越确信药物A和药物B是不同的。在实践中，常用的阈值为0.05。这意味着如果药物A和药物B之间没有区别，如果我们做同样的实验很多次，那么只有5%的实验会导致错误的决定。

我给两个不同的组同样的药物A。现在，结果的任何差异100%都是由奇怪的随机因素造成的，比如一个人的罕见过敏，或者有强烈的安慰剂效应。p值为0.9，远远大于0.05。因此，我们可以说我们看不到这两组人之间的区别。

image-20201221104319184.png

当没有差异时，得到一个小的p值称为假阳性(False Positive)。换句话说，如果药物A和药物B之间没有差异，5%的时间我们做实验，我们得到的p值小于0.05，也就是假阳性。

使用0.00001阈值意味着我们每100,000次实验只能得到一次假阳性结果。最常见的阈值是0.05，因为试图将假阳性的数量减少到5%以下的成本往往超过它的价值。

image-20201221105149252.png

零假设是两种药物是一样的。p值帮助我们决定是否拒绝零假设。
虽然很小的p值能帮助我们判断药物a与药物B是否不同，但它并不能告诉我们它们有多不同。也就是说，不管药物a和药物B的差异有多大，p值都很小。差异可以很小，也可以很大。

当p值为0.24，A和B之间有8%的差异。当p值为0.04，A和B之间有1%的差异