统计决策方法

作者: sumpig | 来源:发表于2019-03-02 17:21 被阅读0次

统计决策方法
概论&统计决策方法
统计学：从零开始
统计学理论《白话统计》
模式识别第二章统计决策方法贝叶斯决策理论
Decision Tree 决策树
决策树算法总结
统计学习三要素：方法=模型+策略+方法
决策树(decisionTree)
统计在企业中的应用分析

1、贝叶斯公式
$P(w_i|x)=\frac{p(x,w_i)}{p(x)}=\frac{p(x|w_i)P(w_i)}{p(x)}$
其中，
$P(w_i)$ 是先验概率；
$p(x,w_i)$ 是 $x$ 与 $w_i$ 的联合概率密度；
$p(x)$ 是总体密度；
$p(x|w_i)$ 是类条件密度。

2、贝叶斯决策

在类条件概率密度和先验概率已知的情况下，通过贝叶斯公式比较样本属于两类的后验概率，将类别决策为后验概率大的一类，这样做的目的是为了使总体错误率最小。

3、平均错误率

$P(e)=P(w_2)P_2(e)+P(w_1)P_1(e)$
$P_1(e)=\int_{R_2}p(x|w_1)dx$
$P_2(e)=\int_{R_1}p(x|w_2)dx$

4、最小风险贝叶斯决策

设对于实际状态为 $w_j$ 的向量 $x$ ，采取决策 $a_i$ 所带来的损失为
$\lambda(a_i, w_j)$

条件风险

$R(a_i|x)=\sum^c_{j=1}\lambda(a_i|w_j)P(w_j|x)$

风险最小决策

$a = arg minR(a_i|x)$

5、灵敏度与特异度

灵敏度
$Sn=\frac{TP}{TP+FN}$

特异度
$Sp=\frac{TN}{TN+FP}$

6、Neyman-Pearson 决策

在限定一类错误率为常数而是另一类错误率最小的决策规则称作 Neyman-Pearson 决策规则。

7、ROC 曲线

如果把灵敏度 $Sn$ 即真阳性率 $(1-P_1(e))$ 作为纵坐标轴，把假阳性率 $(1-Sp=P_2(2))$ 作为横坐标轴来反映随着阈值的变化两类错误率的变化情况的曲线称作 ROC 曲线。

ROC 曲线越靠近左上角，说明方法性能越好。

曲线下的面积称作 AUC，AUC越接近 1.0，方法性能越好。

8、单变量正太分布

概率密度函数定义为
$p(x)=\frac{1}{\sqrt{2\pi}\sigma}exp\begin{Bmatrix} -\frac{1}{2}(\frac{x-\mu}{\sigma })^2 \end{Bmatrix}$

期望
$\mu=\int_{-\infty}^\infty xp(x)dx$

方差
$\sigma ^2 = \int_{-\infty}^\infty(x-\mu)^2p(x)dx$

从正太分布的总体中抽取样本，约有 95% 的样本都落在区间 $(\mu-2\sigma, \mu + 2\sigma)$ 。

9、多元正太分布

概率密度函数定义为

$p(x)=\frac{1}{(2\pi)^{d/2}|\sum|^{\frac{1}{2}}}exp\begin{Bmatrix} -\frac{1}{2}(x-\mu)^T\sum^{-1}(x-\mu)\\ \end{Bmatrix}$

$x=[x_1, x_2, ..., x_d]^T$ 是 $d$ 维列向量；
$\mu=[\mu_1, \mu_2, ..., \mu_d]^T$ 是 $d$ 维均值向量；
$\sum$ 是 $d*d$ 维协方差矩阵
$\sum^{-1}$ 是 $\sum$ 的逆矩阵
$|\sum|$ 是 $\sum$ 的行列式