最大似然估计

1.最大似然估计概念：

       最大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

2.引入概念

       最大似然估计是建立在最大似然原理的基础之上。最大似然原理的直观理解是：设一个随机试验有若干个可能的结果A1，A2，...，An，在一次试验中，结果Ak出现，则一般认为实验对Ak的出现最有利，即Ak出现的概率较大。这里用到了”概率最大的事件最可能出现”的直观想法，然后对Ak出现的概率公式求极大值，这样便可解未知参数。下面用一个例子说明最大似然估计的思想方法。

       假设一个服从离散型分布的总体X,不妨设X-B(4,p)，其中参数p未知.现抽取容量为3的样本，X1,X2,X3,如果出现的样本观测值为1,2,1，此时p的取值如何估计比较合理？注：B(n,p)为二项分布，二项分布指每一次实验只有0和1两个结果，其中n表示实验次数，p表示每次结果为1的概率，概率求解公式为：

        考虑这样一个问题，为什么样本结果是1,2,1，而不是另外一组x1,x2,x3呢？设事件A={X1=1,X2=2,X3=1}，事件B={X1=x1，X2=x2，X3=x3}套用公式1.1可以得出：

应该让P(A)的取值应该尽可能大。对P(A)进行求导取极值可知，当p=1/3时，P(A)取到最大值，所有有理由认为p=1/3有利于事件A发生，所有p应该取值为1/3比较合理。

3.给出似然函数定义

设X1,X2,...,Xn为来自总体XX的简单随机样本，x1,x2,...,xn为样本观测值.称 

为参数θ的似然函数。其中，当总体X为离散型随机变量时， p(xi,θ)表示X的分布列 当总体X为连续性型随机变量时，p(xi,θ)表示X的密度函数f(x,θ)在xi处的取值f(xi,θ)=p(xi,θ)。

参数θ的似然函数L(θ)实际上就是样本X1,X2,...,Xn恰好取观察值x1,x2,...,xn(或其领域)x1,x2,...,xn(或其领域)x1,x2,...,xn(或其领域)的概率。如果总体X为离散型随机变量时，

如果总体X为连续性型随机变量，由于当Δxi非常小时,   

于是

注意我们求的是样本落在区间[xi−Δxi,xi+Δxi]的概率，而不是样本落在点xi的概率，现在我们求出了落在区间的概率为 又该区间的概率应该近视等于P{X=xi}∗Δxi，即用点xi的发生概率代表区间平均概率密度，所以L(θ)代表的是一组点对应的概率的乘积，即样本X1,X2,...,Xn落在观测值x1,x2,...,xn附近的概率。

4.最大似然估计

设

5.  关于概率密度(PDF)

      我们来考虑个简单的情况(m=k=1)，即是参数和样本都为1的情况。假设进行一个实验，实验次数定为10次，每次实验成功率为0.2，那么不成功的概率为0.8，用y来表示成功的次数。由于前后的实验是相互独立的，所以可以计算得到成功的次数的概率密度为：

由于y的取值范围已定，而且也为已知，所以图1显示了y取不同值时的概率分布情况，而图2显示了当时的y值概率情况。

那么在[0,1]之间变化而形成的概率密度函数的集合就形成了一个模型。

6. 最大似然估计的求法

       由上面的介绍可以知道，对于图1这种情况y=2是最有可能发生的事件。但是在现实中我们还会面临另外一种情况：我们已经知道了一系列的观察值和一个感兴趣的模型，现在需要找出是哪个PDF（具体来说参数为多少时）产生出来的这些观察值。要解决这个问题，就需要用到参数估计的方法，在最大似然估计法中，我们对调PDF中数据向量和参数向量的角色，于是可以得到似然函数的定义为：

       该函数可以理解为，在给定了样本值的情况下，关于参数向量取值情况的函数。还是以上面的简单实验情况为例，若此时给定y为7，那么可以得到关于的似然函数为：

       继续回顾前面所讲，图1,2是在给定的情况下，样本向量y取值概率的分布情况；而图3是图1,2横纵坐标轴相交换而成，它所描述的似然函数图则指出在给定样本向量y的情况下，符合该取值样本分布的各种参数向量的可能性。若相比于，使得y=7出现的可能性要高，那么理所当然的要比更加接近于真正的估计参数。所以求的极大似然估计就归结为求似然函数的最大值点。那么取何值时似然函数最大，这就需要用到高等数学中求导的概念，如果是多维参数向量那么就是求偏导。

主要注意的是多数情况下，直接对变量进行求导反而会使得计算式子更加的复杂，此时可以借用对数函数。由于对数函数是单调增函数，所以

与 具有相同的最大值点，而在许多情况下，求的最大值点比较简单。于是，我们将求的最大值点改为求的最大值点。

7. 总结

最大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

求最大似然函数估计值的一般步骤：

（1） 写出似然函数

（2） 对似然函数取对数，并整理

（3） 求导数

（4） 解似然方程

对于最大似然估计方法的应用，需要结合特定的环境，因为它需要你提供样本的已知模型进而来估算参数，例如在模式识别中，我们可以规定目标符合高斯模型。而且对于该算法，我理解为，“知道”和“能用”就行，没必要在程序设计时将该部分实现。