FWER和FDR(False Discovery Rate)

作者: 坐看云起时zym | 来源:发表于2019-12-16 14:05 被阅读0次

在谈FDR之前，我们先来回顾一下这一概念产生的历程。随着测序技术的发展，对于组学数据进行大规模的假设检验成为了可能。而最初通过取一个简单的cutoff(p value < 0.05 或 p value < 0.01)判断是否显著出现了很大的问题。

举一个简单的例子，假设我们有两组数据。一组是52个肝癌病人的样本，另一组是50个正常人的样本。我们在两组样本上都测了10000个基因的表达，这时我们想看究竟哪些基因在癌症病人中是特异表达的。一个简单直接的方法就是做t-test。假如我们设定显著性水平 $\alpha = 0.05$ 。我们知道p value是犯第一类错误的概率。对于这个案例，如果我们简单的对每个基因做t-test，我们会错误的把500个并不特异表达的基因当作特异表达，这样的结果显然是无法接受的。

下面我们首先引入如下的表格，这个表格代表了做m次假设检验可能出现的情况的统计。下文的公式中会利用其中的一些数值。

possible outcomes.png

FWER

为了解决这一问题，一个名叫family-wise error rate（FWER）的概念被提出。FWER的定义如下：
$FWER = Pr(V \geq 1)$
从字面上理解，FWER衡量的是第一类错误个数大于1的概率。我们希望FWER尽量小或者控制在某个范围，这样才能保证我们做multiple hypothesis的结果的可靠性。Bonferroni提出了一个方法，可以保证 $FWER \leq \alpha$ 。

Bonferroni's Procedure

Bonferroni的想法非常简单，如果对p value的要求非常严格，即非常小的p value才能通过检验，发生第一类错误的概率自然降低了。Bonferroni的做法是将显著性水平控制在 $\alpha / m$ 。下面我们证明在这种情况下， $FWER \leq \alpha$ 。

$FWER = Pr\left \{ \bigcup_{i = 0}^{m_{0}} (p_{i} \leq \frac{\alpha}{m})\right \} \leq \sum_{i = 1}^{m_{0}}\left \{ Pr(p_{i} \leq \frac{\alpha}{m}) \right \} = \frac{m_{0}}{m} \leq \alpha$
其中 $m_{0}$ 为正确的原假设的数量，m为检测的次数。

但是Bonferroni的方法也有很大的弊端，由于这一方法对于p value的要求过于严格，会导致很多miss findings,也即犯第二类错误的概率增大。

Holm's Procedure

为了解决Bonferroni的方法的弊端，Holm提出了新的方法。Holm的思想在于在放松对p value的要求的前提下，保证 $FWER \leq \alpha$

Holm的具体做法如下：
Step1:将p value从小到大排序， $P_{(1)}...P_{(m)}$ , 他们相应的原假设为 $H_{(1)} ... H_{(m)}$
Step2: 令 $k$ 为满足 $P_{(k)} > \frac{\alpha}{m + 1 - k}$ 的最小索引
Step3: 拒绝原假设 $H_{(1)}...H_{(k - 1)}$
Step4: 若 $k = 1$ , 没有原假设会被拒绝

下面我们来证明Holm的方法也可以保证 $FWER \leq \alpha$
Step1:我们假设 $I_{0}$ 为正确的原假设的集合， $I_{0}$ 中包含 $m_{0}$ 个原假设
Step2: 我们令 $h$ 为第一个被拒绝的原假设正确的检验，则 $H_{(1)},...,H_{(h -1)}$ 为被拒绝的原假设错误的检验，显然我们有 $h - 1 \leq m - m_{0}$ ，进一步地，我们有 $\frac{1}{m - h + 1} \leq \frac{1}{m_{0}}$
Step3: 因为第 $h$ 个假设被拒绝，则 $P_{(h)} \leq \frac{\alpha}{m - h + 1}$ ，进一步地，我们发现不等式右边最多等于 $\frac{\alpha}{m_{0}}$
Step4: 我们定义一个随机变量 $A$ , $A = \left\{ P_{i} \leq \frac{\alpha}{m_{0}} \, for \, i \in I_{0} \right\}$ ,我们可以得到 $Pr(A) \leq \alpha$

FDR

尽管Holm对Bonferroni的方法进行了一定的修正，但FWER在假设检验次数较多的时候还是过于保守。这时一个新的概念——False Discovery Rate（FDR）被提出。

在介绍FDR之前，我们先引入False positive proportion——Fdp的概念。Fdp的概念非常简单，就是在认为显著的检验中，第一类错误的比例。定义如下：
$False\, positive \, porportion = Fdp = \frac{V}{R}$

FDR的概念正是基于Fdp的，FDR为Fdp的期望，定义如下，
$FDR = E\left \{Fdp \right \}$

BH procedure

Step1: 将p value从小到大排序， $P_{(1)}...P_{(m)}$ , 他们相应的原假设为 $H_{(1)} ... H_{(m)}$
Step2: 对于给定的 $\alpha$ , 找到最大的 $k$ 使得 $P_{(k)} \leq \frac{k}{m} \alpha$
Step3:拒绝原假设： $H_{(i)}$ $i = 1,...,k$
在BH procedure下，可以保证 $FDR \leq \alpha$