十分钟学习极大自然似估计

作者: 培根炒蛋 | 来源:发表于2019-04-26 15:53 被阅读0次

EndlessLethe原创文章，转载请注明： 转载自小楼吹彻玉笙寒
原文链接地址: 十分钟学习极大似然估计

前言

参数估计是机器学习里面的一个重要主题，而极大似然估计是最传统、使用最广泛的估计方法之一。

本文主要介绍了极大似然估计，简单说明了其和矩估计、贝叶斯估计的异同，其他估计（如MAP）并不涉及。

为什么要用极大似然估计

对于一系列观察数据，我们常常可以找到一个具体分布来描述，但不清楚分布的参数。这时候我们就需要用极大似然估计来求解这个分布的参数。换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。

极大似然估计概述

下面结合一个例子介绍极大似然估计法的思想和方法:

设一个袋子中有黑、白两种球，摸到白球的概率为p，现在要估计p的值。
我们令总体X为

$X = \left. \begin{cases} 0,\quad 从袋中取得一白球,\\ 1,\quad 从袋中取得一黑球.\\ \end{cases} \right.$

则X服从01分布 $B(1,p)$ 。

我们先进行有放回地摸球10次，其结果可用随机变量xi表示，则 $x1,x2,⋯,x10$ 是来自总体X的一个样本。其值=(1,0,1,0,0,0,1,0,0,0)，则似然函数为 $L(p)=p^3 (1−p)^7$ 。

极大似然估计其实是理想地认为，对于极少的样本观测，我们观测到的样本很可能就是发生概率最大的。

似然函数 $L(p)$ 是每个样本出现概率的乘积 $\prod_{i=1}^N {P({x_i})}$ ，因为显然样本是独立同分布的。
根据极大似然估计的思想，我们需要让 $L(p)$ 最大，把这时对应的 $\hat p$ 作为我们的估计值。

求解 $L(p)$ 的最大值点 $\hat p$ ，可由一阶导数

$\frac{dL(p)}{dp}=0$

确定。更一般的，我们通常可以假设白球出现次数为k，可以解得

$\hat p = \frac{k}{N}$

这里带入 $k=3$ 得 $\hat p$ ，所以我们把0.3作为摸到白球的概率

值得注意的是，根据似然函数来求解参数的过程，与样本数量是无关的。我们可以使用变量 $x_i$ 来描述样本观测值，并将模型参数 $θ$ 用来 $x_i$ 表示。当样本较少时，极大似然估计偏差较大。但随着样本的增多（样本逐渐靠近总体分布），偏差慢慢减少为0。这意味着，极大似然估计是非常普适的。

实际上，即使直观上“极大似然估计”似乎是非常自然的想法，但它能在统计学中拥有堪比牛顿力学在物理学中的地位，是因为这种朴素的想法背后蕴含了估计量的泛函不变性、相合性、渐近有效性和渐进正态等诸多逆天的性质。

Note：极大似然估计暗合了切比雪夫大数定律。比如在这个例子中，如果放回次数变得极大，那么根据大数定律也有 $\hat p = \frac{k}{N}$ 。所以在用“局部估计整体”时，可以说使用了极大似然估计法，也可以说根据大数定律。

极大似然估计的具体步骤

我们需要做四步：表示似然函数、假设样本观测值、求解方程和代入数据。

似然函数

对于离散型和连续型随机变量，极大似然估计值 $\hat \theta$ 都满足：

$L(\hat \theta)=\max{L(\theta)}$

只不过似然函数 $L(θ)$ 的表示方式略有不同：
离散型随机变量的似然函数是 $L(\theta) = \prod_{i=1}^N P({x_i})$ ，而连续型是 $L(\theta) = \prod_{i=1}^N f({x_i})$ 。

样本假设

假设样本观测值为 $x_i$

求解方程
由定义可知，估计值可由一阶导数

$\frac{dL(p)}{dp}=0$

解得。但由于lnL和L在同一位置取得最大值，所以极大似然估计值也可以由对数似然方程

$\frac{d(\ln{L(p)})}{dp}=0$

解得。

深入的数理统计理论可以证明：当总体分布服从单峰分布时，如果上两式有解，则其解就是 $θ$ 的极大似然估计值。
Note：当方程无解时，应从定义出发，考虑 $L(θ)$ 的单调性，找到 $maxL(θ)$ 对应的估计值。

带入数据

将 $x_i$ 用真实数据替换

多参数极大似然估计

当总体X的分布中含有多个未知参数，即 $\theta=(\theta_1,\theta_2,⋯,\theta_k)$ 时，似然函数为 $L(\theta)=L(\theta_1,\theta_2,⋯,\theta_k)$ 。有对数似然方程组：

$\left\{ \begin{aligned} \frac{\partial(\ln L(\theta))}{\partial{\theta_1}} & =0\\ \frac{\partial(\ln L(\theta))}{\partial{\theta_2}} & =0\\ \cdots \cdots \cdots\\ \frac{\partial(\ln L(\theta))}{\partial{\theta_k}} & =0\\ \end{aligned} \right.$

方程的解是其对应的极大似然估计值。

总结

最大似然估计的特点

比其他估计方法更加简单
收敛性：无偏或者渐近无偏
如果假设的类条件概率模型正确，则通常能获得较好的结果。但如果假设模型出现偏差，将导致非常差的估计结果。

常用分布的估计值

任意概率分布： $\hat p = \frac{k}{N}$
正态分布： $\hat \mu = \overline x = \frac{1}{n}\sum_{i=1}^n{x_i}$ ， $\hat{\sigma^2}=\frac{1}{n}\sum_{i=1}^N(x_i – \overline x)^2$
泊松分布： $\hat \lambda = \overline x = \frac{1}{n}\sum_{i=1}^n{x_i}$
均匀分布： $\hat a = \max{x_i}$ , $\hat b = \max{x_i}$

最大似然估计和矩估计

对于正态分布和泊松分布，两种估计都是一致的（均匀分布不一致）。矩估计的优点是简单，只需知道总体的矩，总体的分布形式不必知道。而最大似然估计则必须知道总体分布形式，并且在一般情况下，似然方程组的求解较复杂，往往需要在计算机上通过迭代运算才能计算出其近似解。

最大似然估计和贝叶斯估计

最大似然估计是传统频率派估计参数的方法，而贝叶斯估计是贝叶斯统计派估计参数的方法。前者认为 $θ$ 是一个固定的值，而后者认为 $θ$ 是一个满足某个分布的随机变量。后者的泛化能力更好，但计算更复杂。

十分钟学习极大自然似估计

前言

为什么要用极大似然估计

极大似然估计概述

极大似然估计的具体步骤

似然函数

样本假设

带入数据

多参数极大似然估计

总结

最大似然估计的特点

常用分布的估计值

最大似然估计和矩估计

最大似然估计和贝叶斯估计

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读