title: 模式识别 第三章 概率密度函数的估计
date: 2017-03-26 18:47:49
categories: ML/卢晓春 模式识别引论
mathjax: true
tags: [Machine Learning]
第三章 概率密度函数的估计
比贝叶斯决策多了估算先验概率和类条件概率密度函数
在实际中先验概率和类条件概率密度函数常常是未知的。设计分类器的过程一般分为两步,称为基于样本的两步贝叶斯决策。
- 利用样本集估计类条件概率密度与先验概率
- 将估计量代入贝叶斯决策规则,完成分类器设计
在统计学上,有以下几个常用标准和概念:
- 无偏性:参数x的估计量(x_1,x_2..x_n)的数学期望等于x,则称估计是无偏的,当样本数趋于无穷时才有的无偏性称为渐进无偏
- 有效性:方差更小的估计,更有效
- 一致性:如果有 \lim\limits_{n\to\infty}P(|\hat x - x|>\epsilon)=0,则称为一致估计
- 点估计、区间估计。统计量、参数空间、基于平均和方差的评价
整体思路:
- 如何利用样本集估计\hat p(x|w_i)和\hat p(w_i)
* 在典型的有监督模式识别问题中,估计先验概率较为简单。
* 类条件概率密度估计难度在于:一般来说,训练样本总数较少;x的维数较大时,存在计算复杂度等问题。
* 从样本集推断总体概率分布的方法可以归纳为2种
* 参数估计:总体概率密度函数形式已知,但某些参数未知。
* 监督参数估计:样本所属类别已知
* 非监督参数估计:未知样本类别
* 非参数估计:已知样本类别,未知总体概率密度函数形式,要求直接推断概率密度函数本身。
- 估计量的性质如何
- 利用样本集估计错误率的方法
最大似然估计(一般用这个)
待估计参数被看做是确定性的,取值未知的量。最佳估计就是使得产生已观测到的样本的概率为最大的那个值。
Paste_Image.png
例子:
Paste_Image.png
Paste_Image.png
Paste_Image.png
Paste_Image.png
贝叶斯估计
把待估计参数看做是符合某种先验概率分布的随机变量。对样本进行观测的过程,就是把先验概率密度转换为后验概率密度,使用样本信息修正对参数的估计值。
贝叶斯决策与贝叶斯估计两者都是立足于使贝叶斯风险最小,只是要解决的问题不同,前者是要决策x的真实状态,而后者则是要估计X所属总体分布的参数。
对比总结
- 贝叶斯估计方法有很强的理论和算法基础,但在实际应用中,最大似然估计更为简便。
- 用本章介绍的估计结果以及第二章贝叶斯决策来设计分类器时,最终系统误差来源可能如下
- 贝叶斯误差:由p(x|ωi)之间的互相重叠造成,不可消除。
- 模型误差:选择了不正确的模型导致。可消除设计者根据对问题的先验知识和理解来选择模型
- 估计误差:采用有限样本进行估计造成的误差。可以通过增加样本个数来减小。
网友评论