美文网首页
模式识别 第三章 概率密度函数的估计

模式识别 第三章 概率密度函数的估计

作者: gb_QA_log | 来源:发表于2018-07-12 15:23 被阅读0次

    title: 模式识别 第三章 概率密度函数的估计
    date: 2017-03-26 18:47:49
    categories: ML/卢晓春 模式识别引论
    mathjax: true
    tags: [Machine Learning]


    第三章 概率密度函数的估计

    比贝叶斯决策多了估算先验概率和类条件概率密度函数
    在实际中先验概率和类条件概率密度函数常常是未知的。设计分类器的过程一般分为两步,称为基于样本的两步贝叶斯决策。

    • 利用样本集估计类条件概率密度与先验概率
    • 将估计量代入贝叶斯决策规则,完成分类器设计

    在统计学上,有以下几个常用标准和概念:

    • 无偏性:参数x的估计量(x_1,x_2..x_n)的数学期望等于x,则称估计是无偏的,当样本数趋于无穷时才有的无偏性称为渐进无偏
    • 有效性:方差更小的估计,更有效
    • 一致性:如果有 \lim\limits_{n\to\infty}P(|\hat x - x|>\epsilon)=0,则称为一致估计
    • 点估计、区间估计。统计量、参数空间、基于平均和方差的评价

    整体思路:

    • 如何利用样本集估计\hat p(x|w_i)\hat p(w_i)
    * 在典型的有监督模式识别问题中,估计先验概率较为简单。
    * 类条件概率密度估计难度在于:一般来说,训练样本总数较少;x的维数较大时,存在计算复杂度等问题。
    * 从样本集推断总体概率分布的方法可以归纳为2种
        * 参数估计:总体概率密度函数形式已知,但某些参数未知。
            * 监督参数估计:样本所属类别已知
            * 非监督参数估计:未知样本类别
        * 非参数估计:已知样本类别,未知总体概率密度函数形式,要求直接推断概率密度函数本身。
    
    • 估计量的性质如何
    • 利用样本集估计错误率的方法

    最大似然估计(一般用这个)

    待估计参数被看做是确定性的,取值未知的量。最佳估计就是使得产生已观测到的样本的概率为最大的那个值。


    Paste_Image.png

    例子:

    Paste_Image.png
    Paste_Image.png
    Paste_Image.png
    Paste_Image.png

    贝叶斯估计

    把待估计参数看做是符合某种先验概率分布的随机变量。对样本进行观测的过程,就是把先验概率密度转换为后验概率密度,使用样本信息修正对参数的估计值。
    贝叶斯决策与贝叶斯估计两者都是立足于使贝叶斯风险最小,只是要解决的问题不同,前者是要决策x的真实状态,而后者则是要估计X所属总体分布的参数

    对比总结

    • 贝叶斯估计方法有很强的理论和算法基础,但在实际应用中,最大似然估计更为简便。
    • 用本章介绍的估计结果以及第二章贝叶斯决策来设计分类器时,最终系统误差来源可能如下
      • 贝叶斯误差:由p(x|ωi)之间的互相重叠造成,不可消除。
      • 模型误差:选择了不正确的模型导致。可消除设计者根据对问题的先验知识和理解来选择模型
      • 估计误差:采用有限样本进行估计造成的误差。可以通过增加样本个数来减小。

    相关文章

      网友评论

          本文标题:模式识别 第三章 概率密度函数的估计

          本文链接:https://www.haomeiwen.com/subject/mqhrpftx.html