模式识别

模式识别：获取关于某一事物的信息并将其归于某一类别的过程，从样本到类别的映射；
根本样本的类别是否已知，模式识别可分为监督 学习和非监督学习；
在模式识别中，特征通常蕴含着领域知识，可分为低层，中层和高层特征；

统计决策方法：

基本概念和名词约定：

-先验概率:未对样本进行任何观测的概率。
-样本分布概率密度(总体概率密度)
-类条件概率密度
-后验概率：
-条件错误概率：
-平均错误概率：
-正确率：
-贝叶斯公式：
-test:

最小错误率贝叶斯决策

使错误率最小的决策就是使后验概率最大的决策，故决策规则如下：
如果 ,则 ;反之，则，后验概率可用贝叶斯公式进行计算；

等价判断规则如下：

,则 ;反之，

, 则 ;反之，

对于多类别情况，则需选择后验概率最大的类；

最小风险贝叶斯决策

在一些情况下，我们更加关注不同错误所带来的的损失而不是错误率本身，故在这种情况下用最小风险贝叶斯决策；
状态空间：
决策空间：
损失函数：,表示对实际状态作出决策带来的损失；
条件风险：对特定采取决策时的期望损失：

期望平均风险，对所有可能的采取决策时可能造成的损失：

最小风险贝叶斯决策规则和计算步骤：
Decide , if

两种决策之间的关系：

如果损失函数使0-1损失函数，则这两种决策等价。

两类错误率，Neyman-Pearson决策与ROC曲线

状态与决策的可能关系

状态	决策	决策
阴性	真阴性（TN）	假阳性(FP)
阳性	假阴性(FN)	真阳性(TP)

灵敏度,表示阳性样本有多少能被正确的检测出来；
特异度,表示真正的阴性样本中有多大比例没有被误判；

假阳性率又被称为第一类错误率，用表示；假阴性率称为第二类错误率，用&\beta&表示；

固有

在某些情况下需要使第二类错误率达到某一水平，以此为约束让第一类错误率尽可能低：

决策规则为：
, ;否则，

很难求得封闭解，可以采用数值方法求解，采用试探法计算几个不同的使其满足下式并使得尽可能的小；

ROC曲线

灵敏度（真阳性率）作为纵坐标轴，假阳性率（1 - ）作为横坐标轴得到的曲线就是ROC曲线，常用于比较两种不同分类方法的性能，曲线下的面积AUC值常用于比较方法的性能；

正态分布时的统计决策

在统计决策理论中，类条件概率密度函数起着重要的作用，这一节将探讨概率密度是正态分布的一些具体结论。

正态分布及其性质回顾

单变量正态分布

多元正态分布
维多元正态分布概率密度函数，

协方差矩阵总是对称非负定阵
等密度点的轨迹为超椭球面；

不相关性和独立性

不相关性：对于两个随机变量,若有,则称是不相关的。
独立性：对于两个随机变量,若有,则称是独立的。
在多元正泰分布中，不相关性等价于独立性；
推论：若多元正泰分布随机向量的协方差矩阵是对角矩阵，则的分量是相互独立的正态分布随机量；
多元正态分布的边缘分布和条件分布仍然是正态分布；
多元正态随机向量的线性变换仍为多元正态分布的随机向量；
线性组合则正态性：若为多元正态随机向量，则线性组合，,是与同维的向量；

正态分布概率模型下的最小错误率贝叶斯决策

正态分布下判别函数为

第一种情况，

若,
若 ,
决策面为一个超平面

第二种情况，

决策面仍为一个超平面

第三种情况，各类协方差矩阵不相等，决策面为超二次曲面

错误率的计算

1.按理论公式计算
2.计算错误率上界（估算）
3.实验估计