【No3】极大似然估计（MLE）

概念：

已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察结果，利用结果推出参数的大概值。

最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择小概率样本，所以干脆就把这个参数作为估计的真实值。

定义：

设总体分布为f(x,θ），x1,x2,x3,x4...xn为该总体采用得到的样本。因为x1,x2...xn独立分布，于是，他们的联合密度函数为：

一般步骤：

（1）写出似然函数；

（2）对似然函数取对数，得到对数似然函数；

（3）若对数似然函数可导，求导，解方程组

得到驻点。

（4）分析驻点是极大值点

举例：

抛一枚硬币10次

正面为1，反面为0，结如下：

【1,1,0,1,1,1,0,0,1,1】

设正面的概率为p，反面的概率为（1-p)

（1）则最大似然函数公式为L=p*p(1-p）*p...*p*p

简化公式如下：

L=p7*(1-p)3

（2）取对数：lnL=7*lnp+3ln(1-p)

（3）求导：0=7*（1/p)+3*（1/(1-p))*(-1)

7/p=3/(1-p)

得出结果p=7/10

（4）7/10w为极大值点。