美文网首页
极大似然估计的理解

极大似然估计的理解

作者: 番茄酱的汪 | 来源:发表于2020-03-09 20:26 被阅读0次

    一、概念

    最大似然估计Maximum Likelihood Estimation

    • 假设观察的变量是x,观察的变量取值为X={x,x_{1},...x_{n}},要估计的参数是\theta,x的分布函数是p(x|\theta),意思是x的分布依赖于\theta的取值。
    • 最大似然估计的似然指的是“事件发生的可能性”,最大则是要找到一个参数使得这个可能性最大。一般而言多次取样的得到的变量x是独立分布的,则n次取样的联合分布概率为连乘:
      p(X|\theta)=\prod_{i=1}^{n}p(x|\theta)
      • 那么我们需要找到的就是使得这个联合概率最大的参数\theta,一般都会取对应的对数形式:
        \Theta^{*}={\arg \max \left \{ \sum_{i=1}^{n} \log_{2}p(x_{i}|\theta)\right \}}
      • 具体求解的时候,对 \Theta求导,令导数为0,求出 \Theta^{*}

    二、我的理解

    画的不太好.png
    • 看这张图片,我们不知道红色这8个点的分布到底是什么,假设是服从正态分布的(其实这8个点就是生成服从正态分布的8个随机点)
    • 我们现在要去估计正态分布的两个参数N(\mu,\sigma^{2}),我们就需要假设这红色的点是这个正态分布中出现的概率很大的点,而不是只会5%概率出现的点,(不会刚好那么背就抽到只会有5%概率出现的点吧),因为如果这些点出现的概率很大,那么我们就更有可能抽到这些点
    • 所以我们就要假设这些点出现的概率最大来进行参数预估。我们预估出来的\mu很可能0,因为只有均值为0的时候,这些点出现的概率会最大
    • 这一切的前提都是假设是服从正态分布的

    三、一个例子

    我们有样本1,2,3,请问最有可能服从均匀分布的哪一个?
    A.[0,5]均匀分布 B.[0,3]均匀分布
    当然是B,因为在B的情况下,这三个样本出现的概率才会最大。

    相关文章

      网友评论

          本文标题:极大似然估计的理解

          本文链接:https://www.haomeiwen.com/subject/rwlmdhtx.html