2 大规模假设检验

作者: 老姚记事本 | 来源:发表于2021-12-19 20:44 被阅读0次

2 大规模假设检验
5 局部错误发现率
FWER和FDR(False Discovery Rate)
统计学笔记6 假设检验和p值
Python做假设检验
关于假设检验中的单侧备则假设
lesson3-假设检验&置信区间
统计推断
R语言学习笔记_04
数据分析学习Day3---商务与统计（第八章）

2.1 贯穿本章的例子

一份用于研究前列腺癌与基因关系的数据：102个人中50个正常，52个是癌症患者，统计每个人的6033个前列腺相关基因。
数据用 $6033 * 102$ 维的矩阵 $X$ 表示：
$x_{ij} = i基因j病人的数据$
则基因i的双样本t检验统计量为(latex显示有误，是均值):
$t_i = \frac{\bar x_i(2) - \bar x_i(1)}{S_i}$

latex错误补图
为了后续方便，将t转换为z，

z_i = \Phi^{-1}(F_{100}(t_i))

。因此：

H_{0i} : z_i \sim \mathcal N(0, 1)

6033个基因的z值
由于有6033多个假设要检验，因此需要多重检验修正，比如使用Bonferroni方法计算中心距4.31以上的才认为显著。但是似乎过于严格了，会降低正确发现率。

经验贝叶斯提供了一种宽松些的多重检验方法。

2.2 贝叶斯方案

由于数据集是H0和H1的混合，我们可以定义其中H0概率为 $\pi_0$ ，H1概率为 $\pi_1$ ，以及对应的概率密度函数 $f_0(z)$ 和 $f_1(z)$ ，对应样空间 $Z$ 的概率累计函数 $F_0(Z)$ 和 $F_1(Z)$ 。则对应的混合分布为：
$f(z) = \pi_0f_0(z) + \pi_1f_1(z) \\ F(Z) = \pi_0F_0(Z) + \pi_1F_1(Z)$
因此如果 $z \in Z$ ，则 $z$ 属于H0的概率为：
$\phi(Z) = Pr(null|z \in Z) = \pi_0F_0(Z) / F(Z)$
上述概率被称为“Bayes false discovery rate”，也可以写为 $Fdr(Z)$
如果 $Z$ 只包含一个点 $z_0$ ：
$\phi(z_0) = Pr(null|z = z_0) = \pi_0f_0(z_0) / f(z_0)$
被称为“local Bayes false discovery rate”，也写作 $fdr(z)$

两者关系，在z点来说，Fdr是割线，fdr是切线
由于

Z

一般是

(-\infty , z)

，后续用

F(z)

表示

F((-\infty,z))

定义 $F_1(z) = F_0(z)^\gamma\ [\gamma < 1]$ （Lehmann alternatives）则
$log \{ \frac{fdr(z)}{1- fdr(z)} \} = log \{ \frac{Fdr(z)}{1- Fdr(z)} \} + log(\frac{1}{\gamma})$

注意： $\frac{fdr(z)}{1-fdr(z)} = \frac{\pi_0f_0(z)}{\pi_1f_1(z)}$

当 $Fdr(z)$ 很小时
$fdr(z)\approx Fdr(z)/\gamma$

2.3 经验贝叶斯估计

2.3.1 评估方法

上一节的混合分布的定义中， $f_0$ 认为是已知的， $\pi_0$ 常常接近1，最重要的未知就是 $f_1$
显然可以用经验贝叶斯方法来评估错误发现率 $\bar{Fdr}(z) \equiv \bar{\phi(z)} = \pi_0F_0(Z) / \bar{F}(Z)$ （简书显示有误，不是平方）

简书latex显示错误修正补图
其中分母为混合分布的经验分布。

2.3.2 效果好坏

满足条件的 $z$ 的个数可以表示为：
$N_+(Z) = N_0(Z) + N_1(Z)$

关系视图

则 $\bar{Fdr}(Z) = \frac{N\pi_0F_0(Z)}{N_+(Z)}$ (同样有显示错误，正确公式是下图)

其中未知参数为

\pi_0

，但是一般情况下

\pi_0

非常接近1，我们可以得到一个有参考意义的错误发现率上界

\frac{NF_0(Z)}{N_+(Z)}

带入到2.1的例子中，如果我们

Z

取3倍标准差外，则错误发现率控制在0.166。

2.4 经验贝叶斯错误发现率的点估计

根据上文可知：
$\phi(Z) = Fdr(Z)= e_0(Z)/e_+(Z)$
其中 $e_+(Z)=N*F(Z)$ 是阳性的期望数量， $e_0(Z)$ 是错误阳性的期望数量。
而我们也不知道错误发现的比率:
$Fdp(Z)=N_0(Z)/N_+(Z)$
据此可以得到3个相关数字()：
$\bar{Fdr(Z)} = e_0(Z)/N_+(Z), \phi(Z)=e_0(Z)/e_+(Z),Fdp(Z)=N_0(Z)/N_+(Z)$

简书显示错误纠正
接下来会讨论它们之间的关系。

引理2.1
在 $N_1$ 已知前提下
$E\{\bar{Fdr}(Z)|N_1(Z)\}\geq\phi_1(Z)\geq E\{Fdp(Z)|N_1(Z)\}$

其中 $\phi_1(Z)=\frac{e_0(Z)}{e_0(Z) + N_1(Z)}$

上述引理标明empirical Bayes false discovery rate预期比实际比例大。
如果将 $N_1(Z)$ 做变量求期望，可以得到
$\phi(Z) \geq E\{Fdp(Z)\} .$
所以Bayes false discovery rate是Fdp的上界。

引理2.2
如果定义平方变异系数 $\gamma(Z) = var\{ N_+(Z) \} /e_+(Z)^2$
则经验贝叶斯错误发现率与贝叶斯错误发现率之比

均值近似为 $1 + \gamma(Z)$ ，方差近似为 $\gamma(Z)$

引理2.2告诉我们经验贝叶斯的精度取决于 $N_+(Z)$ 。如果假设 $z_i$ 间独立，可以得到更有意思的结果。
设 $z_i$ 互相独立，则 $N_+$ 是二项分布：
$N_+(Z) \sim Bi(N, F(Z))$
平方变异系数为：
$\gamma(Z) = \frac{1 - F(Z)}{NF(Z)} = \frac{1 - F(Z)}{e_+(Z) }$
由于我们感兴趣的 $F(Z)$ 一般很小，则 $\gamma(Z) \approx 1/e_+(Z)$ 。则根据引理2.2，经验贝叶斯错误发现率与贝叶斯错误发现率之比：均值近似为 $1 + 1/e_+(Z)$ ，方差近似为 $1/e_+(Z)$
其中的关键为 $e_+(Z)$ 和独立，带入2.1的例子中，可知经验贝叶斯错误发现率与贝叶斯错误发现率之比近似为1.02标准差为0.14，可以据此构建置信区间。

如果在保持独立前提下，假设N服从泊松分布，即 $N \sim Poi(\eta)$ :

引理2.3
在泊松独立假设下：
$E \{Fdp(Z) \} = \phi(Z) * [ 1- exp(-e_+(Z))]$
其中 $e_+(Z) = E \{ N_+ (Z) \} = \eta * F(Z)$

大规模推断中一般H1也是存在的，因此取 $\pi_0=1$ 做上界存在高估，一种简单的修正：
$\widetilde{Fdr(Z)}=e_0(Z) / (N_+(Z) + 1)$

引理2.4
在泊松独立前提下
$E\{ \widetilde{Fdr(Z)} \} = E \{ Fdp(Z) \} = \phi(Z) * [ 1- exp(-e_+(Z))]$

注意：当 $e_+(Z)$ 比较小时（比如小于10），两种估计都可能存在严重偏差。

2.5 独立 vs 相关

独立假设对FDR来说非常重要，但是非常危险。在第7和第8章会展开讨论。

2.6 从其它个体信息中学习2

考虑类似上章的贝叶斯结构
$\mu \sim g(.) \ and\ z|\mu \sim f_\mu(z)$
我们可以用它来模拟假设检验：
$g(\mu) = \pi_0\Delta_0(\mu) + (1 - \pi_0)g_1(\mu)$
其中 $\Delta_0$ 是德尔塔函数， $g_1(\mu)$ 是H1的先验概率密度函数。
本章例子中，可以通过其它基因信息评估 $\pi_0$ 和 $g_1$ ，再通过贝叶斯理论结合 $z_i$ ，对基因i进行推断。详细会在后面的章节展开。

本章概念

2 大规模假设检验
2.1 贯穿本章的例子一份用于研究前列腺癌与基因关系的数据：102个人中50个正常，52个是癌症患者，统计每个人...
5 局部错误发现率
经典单case假设检验基于对统计量（p值）尾部的解释。二战后，多重检验继续基于p值，并扩展到大规模假设检验，前面3...
FWER和FDR(False Discovery Rate)
在谈FDR之前，我们先来回顾一下这一概念产生的历程。随着测序技术的发展，对于组学数据进行大规模的假设检验成为了可能...
统计学笔记6 假设检验和p值
假设检验假设检验(hypothesis testing)，又称统计假设检验，是用来判断样本与样本、样本与总体的差...
Python做假设检验
目前看到的最全的假设检验的文章 python假设检验
关于假设检验中的单侧备则假设
在假设检验中的单侧备则假设检验中：H0:u1=u2H±:u1>u2/u1
lesson3-假设检验&置信区间
习题1 根据95%预测区间反推假设是否要舍弃（假设检验）习题2
统计推断
一、单样本假设检验：对单一的母体参数进行检验假设检验步骤：1.根据实际情况提出原假设和备择假设；2.根据假设的特征...
R语言学习笔记_04
假设检验在R的内置函数中几乎囊括了所有常用的假设检验，常用的假设检验包括：相关性分析包括Pearson相关系数...
数据分析学习Day3---商务与统计（第八章）
基于两个样本的统计推断：置信区间和假设检验 1.独立大样本下的均值置信区间估计： 2.独立大样本下的假设检验： 3...