美文网首页
极大似然估计的理解

极大似然估计的理解

作者: 番茄酱的汪 | 来源:发表于2020-03-09 20:26 被阅读0次

一、概念

最大似然估计Maximum Likelihood Estimation

  • 假设观察的变量是x,观察的变量取值为X={x,x_{1},...x_{n}},要估计的参数是\theta,x的分布函数是p(x|\theta),意思是x的分布依赖于\theta的取值。
  • 最大似然估计的似然指的是“事件发生的可能性”,最大则是要找到一个参数使得这个可能性最大。一般而言多次取样的得到的变量x是独立分布的,则n次取样的联合分布概率为连乘:
    p(X|\theta)=\prod_{i=1}^{n}p(x|\theta)
    • 那么我们需要找到的就是使得这个联合概率最大的参数\theta,一般都会取对应的对数形式:
      \Theta^{*}={\arg \max \left \{ \sum_{i=1}^{n} \log_{2}p(x_{i}|\theta)\right \}}
    • 具体求解的时候,对 \Theta求导,令导数为0,求出 \Theta^{*}

二、我的理解

画的不太好.png
  • 看这张图片,我们不知道红色这8个点的分布到底是什么,假设是服从正态分布的(其实这8个点就是生成服从正态分布的8个随机点)
  • 我们现在要去估计正态分布的两个参数N(\mu,\sigma^{2}),我们就需要假设这红色的点是这个正态分布中出现的概率很大的点,而不是只会5%概率出现的点,(不会刚好那么背就抽到只会有5%概率出现的点吧),因为如果这些点出现的概率很大,那么我们就更有可能抽到这些点
  • 所以我们就要假设这些点出现的概率最大来进行参数预估。我们预估出来的\mu很可能0,因为只有均值为0的时候,这些点出现的概率会最大
  • 这一切的前提都是假设是服从正态分布的

三、一个例子

我们有样本1,2,3,请问最有可能服从均匀分布的哪一个?
A.[0,5]均匀分布 B.[0,3]均匀分布
当然是B,因为在B的情况下,这三个样本出现的概率才会最大。

相关文章

  • 极大似然估计的理解

    一、概念 最大似然估计 假设观察的变量是,观察的变量取值为,要估计的参数是,x的分布函数是,意思是x的分布依赖于的...

  • 极大似然估计

    极大似然估计 以前多次接触过极大似然估计,但一直都不太明白到底什么原理,最近在看贝叶斯分类,对极大似然估计...

  • 极大似然估计

    极大似然估计(Maximum Likelihood Estimation,MLE),也称最大似然估计。“似然”是对...

  • 极大似然估计

    序 极大似然估计和最大后验估计是机器学习中常用的两种参数估计方法。本次记录MLE的原理和用法,为后续推导LR等目标...

  • 极大似然估计

    动机 在学习机器学习算法过程中,发现很多算法策略都采用极大似然估计, 如:线性、逻辑回归,决策树,隐马尔科夫模型。...

  • 极大似然估计

    极大似然估计是一种参数估计的方法(知模型求参数)。先验概率是 知因求果,后验概率是 知果求因,极大似然是 知果求最...

  • 极大似然估计

    现实情况中我们可能会遇到这样的一些例子,需要得到一所高校有车学生的分布情况(假定符合参数为p的伯努利分布),某地区...

  • 极大似然估计

    似然函数 似然函数(likelihood function)是一种关于统计模型中的参数的函数,既然是函数那自变量就...

  • 极大似然估计

    极大似然估计 我们也可以理解为最像估计法或者最可能估计法。 通俗理解:对于一个事件的发生我们的猜测是基于一...

  • 极大似然估计

    1. 什么是似然函数? 本质是关于随机数X的概率密度函数,只不过没有给定参数.概率密度函数反映的是给定值 的事件发...

网友评论

      本文标题:极大似然估计的理解

      本文链接:https://www.haomeiwen.com/subject/rwlmdhtx.html