美文网首页机器学习-算法理论
概率建模中的参数估计-最大后验概率MAP

概率建模中的参数估计-最大后验概率MAP

作者: shudaxu | 来源:发表于2019-05-15 17:25 被阅读0次

之前在概率建模中的参数估计-最大似然估计MLE中对最大似然概率做了比较详细了解释,那么理解最大似然之后,最大后验(Maximum A Posteriori estimation)也就好理解了。
在公式Posterior= Likelihood * Prior / Evidence中,我们如果没有任何先验知识,不确定theta的先验分布,则通过假设Prior为常数(均匀分布 uniform distribution),来获得在样本D上概率最大theta。P(theta|D) ~ P(D| theta),计算argmax Likelihood即可。
而当我们对theta拥有一定的先验知识时,则将常数假设更换为先验假设,优化时计算argmax Likelihood * Prior 即可。
这里的Prior通常是一个已知分布的函数,比如用标准正太分布描述参数,则Prior ie P(theta) = NORM(theta),得到一个theta的函数,将其带入公式求argmax即可。

PS:其实MLE就等价于,假设先验为均匀分布(uniform distribution)的MAP

MAP与MLE根源的不同:
MLE本质是对先验概率没有任何假设,完全让数据(D)说话。所以MLE方法中,主导思想是频率学派对概率的理解。而MAP加入了先验,并且随着数据(D)的变化,参数会跟随其变化,更起主导的是贝叶斯学派的思想。

相关文章

  • 概率建模中的参数估计-最大后验概率MAP

    之前在概率建模中的参数估计-最大似然估计MLE中对最大似然概率做了比较详细了解释,那么理解最大似然之后,最大后验(...

  • 最大似然估计 最大后验估计

    MLE MAP 最大后验概率 wiki 机器学习基础篇——最大后验概率 MLE:首先看机器学习基础篇——最大后验概...

  • 机器学习-Logistic回归

    1. 后验概率与logistic函数 在贝叶斯分类中提到过后验概率,直接对后验概率建模的计算判别模型。 对于一个二...

  • 02 EM算法 - K-means算法回顾、EM概述

    01 EM算法 - 大纲 - 最大似然估计(MLE)、贝叶斯算法估计、最大后验概率估计(MAP) K-means算...

  • 机器学习面试题集合

    朴素贝叶斯 朴素贝叶斯核心思想利用先验概率得到后验概率,并且最终由期望风险最小化得出后验概率最大化,从而输出让后验...

  • Naive Bayes

    分类原理:通过某对象的先验概率,利用贝叶斯公式,计算出其后验概率。即该对象属于某一类的概率,选择具有最大后验概率的...

  • 知识点网站

    最大似然估计 (MLE) 最大后验概率(MAP) 最大似然估计和最小二乘法怎么理解? 常用的数据预处理方法,用Py...

  • 最大似然估计 (MLE) 最大后验概率(MAP)

    http://www.cnblogs.com/sylvanas2012/p/5058065.html http:/...

  • 极大似然估计

    极大似然估计是一种参数估计的方法(知模型求参数)。先验概率是 知因求果,后验概率是 知果求因,极大似然是 知果求最...

  • 简述极大似然估计

    极大似然估计是一种参数估计的方法。先验概率是 知因求果,后验概率是 知果求因,极大似然是 知果求最可能的原因。即它...

网友评论

    本文标题:概率建模中的参数估计-最大后验概率MAP

    本文链接:https://www.haomeiwen.com/subject/yxrmaqtx.html