美文网首页
最大似然估计(MLE)VS最大后验估计(MAP)

最大似然估计(MLE)VS最大后验估计(MAP)

作者: 小小orange | 来源:发表于2018-09-11 11:55 被阅读0次

    概念介绍

    1.最大似然估计(MLE,Maximum Likelihood Estimation):模型(x)已定,参数y未知

    2.最大后验概率(MAP,Maximum a posteriori estimation):与最大似然估计类似,但最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。

    最大似然估计

    贝叶斯定理公式:P(Y|X)=P(X|Y)P(Y),其中P(X|Y)是似然函数(数据X已知,但是分类Y未知)

    1.核心:使得发生的样本出现的可能性最大。

    2.最大似然估计是求参数Y, 使似然函数p(x0|Y)最大。

    最大后验概率估计

    1.核心:使得发生的样本出现的可能性最大

    2.最大后验概率估计则是想求Y使得p(x0|Y)p(Y)最大。

    3.求得的Y不单单让似然函数大,Y自己出现的先验概率也得大。 (这有点像正则化里加惩罚项的思想,不过正则化里是利用加法,而MAP里是利用乘法)

    MLE与MAP的区别

    MLE一直天真认为P(Y)是个固定值,在认为Y是固定值的情况下求得p(x0|Y),即使得p(x0|Y)最大;

    MAP是求得p(x0|Y)p(Y)最大,即p(x0|Y)和p(Y)都得大,但是这里边Y的值肯定与MLE中一直认为的Y值时不同的。

    相关连接:https://mp.weixin.qq.com/s/dQxN46wEbFrpvV369uOHdA  讲述MLE与MAP的区别,里边有例子进行解释。

    相关文章

      网友评论

          本文标题:最大似然估计(MLE)VS最大后验估计(MAP)

          本文链接:https://www.haomeiwen.com/subject/rviygftx.html