极大似然估计

现实情况中我们可能会遇到这样的一些例子，需要得到一所高校有车学生的分布情况（假定符合参数为p的伯努利分布），某地区成年男性的身高分布情况（假定符合参数为u1，σ1的正态分布），南极洲成年帝企鹅的体重分布（假定符合参数为u2，σ2的正态分布）等等。

由于时间和经费的限制，不可能进行全面统计，我们只能通过一定的观察，得到一系列的观察值，在上述假定概率分布模型上，现在需要求出是哪个具体的概率分布生成了这些观察值。要解决这个问题，就需要用到参数估计方法，即估计出上述的参数p，（u，σ），而最大似然估计就是这样一种方法。

最大似然估计是一个在已知观察结果（即样本）和给定概率分布模型的基础上，估计概率分布模型的参数，并使得在该参数下，生成这个已知样本的可能性最大的方法。

举第一个例子，设我们已经获得了一个样本集{X1,X2,…,Xn}，其中Xi=0表示选取的学生没有车，Xi= 1表示选取的学生有车。 Xi服从概率为未知参数p的伯努利分布，那么根据伯努利分布的定义，每个Xi的概率质量函数为：

f(xi;p)=pxi(1−p)1−xi

其中Xi=0或1。 首先，要通过极大似然估计方法求出参数p，需要定义似然函数。前面提到，最大似然估计就是去找参数估计值，使得已经观察到的样本值发生概率最大。既然这些样本已经实现了，其发生概率最大才符合逻辑。这就是求所有观测值样本的联合概率最大化。因此，似然函数在形式上，其实就是样本的联合概率。对连续型随机变量和离散型随机变量，样本的似然函数分别是概率密度和概率质量函数的连乘形式。

对于本例，似然函数为：

L(p)=∏i=1nf(xi;p)=px1(1−p)1−x1×px2(1−p)1−x2×...×pxn(1−p)1−xn

将上式化简，我们得到：

L(p)=p∑xi(1−p)n−∑xi

在实际应用中，为了求解方便，一般使用似然函数的对数。

ln(L(p))=ln(p∑xi(1−p)n−∑xi)=(∑xi)ln(p)+(n−∑xi)ln(1−p)

我们知道，对数函数是单调递增的。这意味着使得ln(L(p))获得极大值的p也是使得L(p)获得极大值的p。下图为对数函数的图像。

利用一元函数求极大值的方法，对上式两边求p的导数，并令其等于0：

∂ln(L(p))∂p=∑xip−(n−∑xi)1−p≡0

两边乘以p(1-p)，得到：

(∑xi)(1−p)−(n−∑xi)p=0

化简后：

∑xi−np=0

需要说明的是，这里的p实际上是我们估计的p，因此使用如下的符号：

p̂=∑xin=∑ni=1xin

假设我们随机观察了30个学生的样本，样本集为：

{0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,0,1,0}

通过上述的极大似然估计方法，可以求出预估的参数为：

p̂=∑ni=1xin=530=0.167

再来看另一个例子：

假定该高校男生的体重呈均值为μ，标准差为σ的正态分布。我们获得了随机采样10个男学生的体重如下（单位：斤）：

序号体重

1115

2122

3130

4127

5149

6160

7152

8138

9149

10180

正态分布的概率密度函数为：

f(xi;μ,σ2)=1σ2π‾‾‾√exp[−(xi−μ)22σ2]

根据上面的定义，似然函数是概率质量函数（离散随机变量）或概率密度函数（连续随机变量）的乘积，因此：

L(μ,σ)=1σn(2π‾‾‾√)nexp[−12σ2∑i=1n(xi−μ)2]

我们把上式的似然函数可以看作是参数θ1和θ2的函数，其中：

θ1=μ,θ2=σ2

因此，似然函数可以改写为：

L(θ1,θ2)=∏i=1nf(xi;θ1,θ2)=θ−n/22(2π)−n/2exp[−12θ2∑i=1n(xi−θ1)2]

而相应的对数似然函数则为：

logL(θ1,θ2)=−n2logθ2−n2log(2π)−∑ni=1(xi−θ1)22θ2

这是一个关于θ1和θ2的二元函数，根据二元函数求极值的方法，先求θ1的偏导数（partial derivative），然后设偏导数为0。我们得到：

∂logL(θ1,θ2)∂θ1=−2∑ni=1(xi−θ1)2θ2=0

∑i=1n(xi−θ1)=0

∑i=1nxi−nθ1=0

由此我们得到参数θ1的极大似然估计是：

θ1^=μ̂=∑ni=1xin=x¯

现在对θ2求偏导数（partial derivative），然后设偏导数为0。我们得到：

∂logL(θ1,θ2)∂θ2=−n2θ2+∑ni=1(xi−θ1)22θ22=0

两边同时乘以2θ22：

−nθ2+∑i=1n(xi−θ1)2=0

由此得到参数θ2的极大似然估计是：

θ2^=σ̂2=∑(xi−θ1)2n=∑(xi−x¯)2n

概括起来，我们已经求出了均值μ和方差σ2的最大似然估计：

μ̂=∑xin=x¯,σ̂2=∑(xi−x¯)2n

你发现没有，这实质上就是教科书中均值和方差的计算公式！

最后我们根据样本数据，计算μ和方差σ：

μ̂=∑xin=142.2,σ̂2=∑(xi−x¯)2n=18.654

于是，我们得到求极大似然估计的一般步骤：

- 根据设定概率模型，写出联合概率形式的似然函数

- 对似然函数取对数，并整理

- 求导数或偏导数，并赋值为0

- 求解方程

最后，谈谈“似然估计”的使用前提：

- 已经假定了概率模型，如二项分布，正态分布等；

- 已经有了一些观察结果的集合。