似然比检验 (LR test)

作者: CHEN_DIANDIAN | 来源:发表于2019-11-18 02:15 被阅读0次

似然比检验 (LR test)
三大检验（LR Wald LM）
似然比检验
R语言Wald检验vs似然比检验
RNA-seq 详细教程：似然比检验（13）
搭配--语义消岐
DESeq2中的似然比检验(LRT)
LR与SVM
第十三回模型检验常用统计量
13 模型检验常用统计量

计量中检验的一般套路是以 p-value 显著、拒绝原假设为理想情况，然而总有几个检验的假设是不按套路出牌的。Hansen 检验算一个，LR 检验算第二个。

Stata 应用

LR 检验可用于模型的比较和选择，用法与 Hausman 检验相似：
reg ... (model 1)
est store m1
reg ... (model 2)
lrtest m1 .
配合 AIC 和 BIC 信息指标使用：
lrtest m1 . ,stats

lrtest

如何理解 Stata 汇报的结果？

回到检验本身，似然比是有约束条件下的似然函数最大值与无约束条件下似然函数最大值之比。因此，似然比检验的实质是比较有约束条件下的似然函数最大值与无约束条件下似然函数最大值。

似然比检验的思想是：如果参数约束是有效的，那么加上这样的约束不应该引起似然函数最大值的大幅度降低。因此：

H0：参数约束有效，有约束模型优于无约束模型。
H1：参数约束无效，无约束模型优于有约束模型。
划重点：不拒绝 H0 表明有约束模型更优。

约束模型与无约束模型是相对而言的，变量越少的模型受到的约束更多（βi=0），变量最多的模型才是无约束模型。

Stata 会自动识别哪个是约束模型，在检验结果第一行列出：ModelA nested in ModelB 。nested 意为嵌套，A 嵌套在 B 中，就是说 A 是约束模型，B 是无约束模型。

在截图的例子中，LR 具有统计显著性，因此拒绝原假设，选择无约束模型，即 gsem1。

注意，一般情况下，约束模型的 AIC 是小于无约束模型的。此处顺便补充一句，AIC 信息的判断标准是 " the smaller the better "，不关心绝对值，只关心相对值。因此，一个负的绝对值大的 AIC 是好于正的绝对值小的 AIC 的。

A good reference is Model Selection and Multi-model Inference: A Practical Information-theoretic Approach (Burnham and Anderson, 2004), particularly on page 62 (section 2.2):
" In application, one computes AIC for each of the candidate models and selects the model with the smallest value of AIC."
as well as on page 63:
" Usually, AIC is positive; however, it can be shifted by any additive constant, and some shifts can result in negative values of AIC. [...] It is not the absolute size of the AIC value, it is the relative values over the set of models considered, and particularly the differences between AIC values, that are important."
Source: https://stats.stackexchange.com/questions/84076/negative-values-for-aic-in-general-mixed-model

既然通常情况下，约束模型的 AIC 总是小于无约束模型的，那么凭借 AIC 信息就无法对两个模型进行有效的比较。这就显现出 LR 的价值：在 AIC 提供的信息不充分的情况下，如何比较有约束模型和无约束模型的优劣？LR 检验指出，如果参数约束有效，那么加上这样的约束不会引起似然函数最大值的大幅度降低。

模型（Refer：半碗鱼）

变量 $X=(X_{1},……，X_{n})$ 服从的分布里有未知参数 $\theta$ ，记其概率密度函数为 $f(x)$ ，联合概率密度函数为 $p(x;\theta)$ 。

原假设 $H_{0}$ 是对参数 $\theta$ 的假设，比如 $\theta=\theta_{0}$ 。
备择假设 $H_{1}:\theta=\theta_{1}(\theta_{1}≠\theta_{0})$ 。
若参数有多种可能的取值，则假设 $H_{0}：\theta∈\Theta_{0}$ ，备择假设 $H_{1}:\theta∈\Theta_{1}$ ，其中 $\Theta_{0}$ , $\Theta_{1}$ 表示集合。
从假设可以看出，似然比检验（或概率比检验）这种推断常用于区分样本来自这类分布还是那类分布的参数检验问题。

我们知道，似然函数 $L$ 是 $n$ 个独立样本的联合概率密度函数，就是出现 $n$ 个样本为向量 $X$ 的概率，就是 $f(x)$ 的连乘。因此有 $L(\theta;x)=kp(x;\theta)$ ，通常取 $k=1$ 。

记 $H_{0}$ 成立时的似然函数为 $L_{0}$ 。它是原假设成立时，观察到样本点 $x$ 的可能性的一个度量（似然），即 $n$ 次取样的结果为向量 $X$ 的概率。
若参数有多种可能的取值（即假设为集合的情况 $H_{0}:\theta∈\Theta_{0}$ ），就用广义似然函数 $sup L_{0}$ （用 $\theta$ 的极大似然估计 $\theta^{*}$ 代入计算可得）。

同理，记 $H_{1}$ 成立时的似然函数为 $L_{1}$ （或广义似然函数 $sup L_{1}$ ）。它是在 $H_{1}$ 成立的条件下， $n$ 次取样的结果为向量 $X$ 的概率。

定义 $\lambda(x)=\frac{L_{1}}{L_{0}}=\frac{p(x;\theta_{1})}{p(x;\theta_{0})}$ 为似然比。

显然， $\lambda(x)$ 越大，备择假设成立观察到样本点 $x$ 的可能性越高，拒绝 $H_{0}$ 的概率越高。换句话说，样本在 $H_{1}$ 条件下出现的概率比在 $H_{0}$ 条件下出现的概率的比值越大， $H_{1}$ 成立的可能性越高。

因此，我们设定临界值 $c$ ，当似然比 $\lambda(x)≥c$ 时，我们就拒绝 $H_{0}$ 。临界值 $c$ 由似然比函数（往往是关于某个可知道分布的统计量T(X)的单调函数）结合给定的显著性水平值就能确定。

Ref：
数理统计学习笔记：极大似然估计
 数理统计学习笔记：似然比检验

似然比检验 (LR test)
计量中检验的一般套路是以 p-value 显著、拒绝原假设为理想情况，然而总有几个检验的假设是不按套路出牌的。Ha...
三大检验（LR Wald LM）
1. 估计方法 2. 假设检验似然比检验（LR） wald 检验拉格朗日乘数检验（score test）LM
似然比检验
转载自DESeq2中的似然比检验(LRT) - 简书 (jianshu.com)[https://www.jian...
R语言Wald检验vs似然比检验
原文链接：http://tecdat.cn/?p=6895 在开展基于概率推理的课程时，关键主题之一是基于似然函数...
RNA-seq 详细教程：似然比检验（13）
学习内容应用似然比检验 (LRT) 进行假设检验将 LRT 生成的结果与使用 Wald 检验获得的结果进行比较...
搭配--语义消岐
频率均值和方差假设检验---t检验-皮尔逊卡方检验-似然比-互信息非组成构词法--不可替换性有监督学习--无...
DESeq2中的似然比检验(LRT)
前言 DESeq2的LRT又称之为似然比检验，用于检验跨两个以上组别评估表达变化，比方说以多个时间点作为分组，似...
LR与SVM
LR 最大化似然函数：决策边界：核函数：，实际中LR不采用核函数方法，因为SVM只依赖于支持向量，而LR考虑...
第十三回模型检验常用统计量
F统计量 t统计量似然比统计量（LR）沃尔德统计量（W）拉格朗日乘子统计量（LM） JB统计量赤池准则、施...
13 模型检验常用统计量
F统计量 t统计量似然比统计量（LR）沃尔德统计量（W）拉格朗日乘子统计量（LM） JB统计量赤池准则、施...