美文网首页机器学习
机器学习-极大似然估计

机器学习-极大似然估计

作者: Meanlay | 来源:发表于2018-09-28 22:29 被阅读117次

    极大似然估计方法在机器学习中用的非常多,是一个必须要掌握的知识点。在周志华《机器学习》中这一章讲的较为简略,以下我将用简单的例子解释下极大似然估计。

    极大似然估计是什么意思?

    似然(likelihood),其实就是可能性的意思。体重为5kg的猫是橘猫的可能性是多少?在这里我们称为体重为5kg是橘猫的似然是多少?

    极大似然估计是一种统计学的方法,我们用已知的样本数据分布去推测具体的分布情况。(这句话有些复杂,不理解可以先看下面内容)

    为什么我们要使用极大似然估计?

    当我们使用机器学习解决具体现实问题时,我们是无法确切知道具体的数据分布情况的。例如我们现在想知道橘猫的体重分布,显然,我们是无法一只只去测的。这种情况在机器学习中非常普遍,那我们可不可以用部分已知数据去预测整体的分布呢?极大似然估计就是一个解决这类问题的方法。但是,这并不是绝对准确的,只能说实际情况最有可能接近这种猜测的分布。

    使用极大似然估计方法的两个条件

    1.我们假定数据服从某种已知的特定数据分布型。

    2.我们已经得到了一定的数据集。


    以下用我们估计橘猫体重的分布情况举例。

    根据现实经验和科学道理,我们可以确切得到两个条件。

    1.动物的体重分布是符合正态分布的。(也可以说我们假定它服从正态分布)

    2.我们抓住了学校里所有的橘猫,得到了100只橘猫的体重。

    那么如何用这100只橘猫的数据集D去推测橘猫具体的体重分布呢?

    我们将这100只橘猫体重设为数据集D

    D服从一个数学期望为μ、标准方差为σ2的正态分布(也叫高斯分布),记为:

                                                    D∼N(μ,σ2)

    这里有两个参数,期望μ决定了分布图形在坐标轴中的位置,σ决定了分布图形的幅度。(正态分布的图像根据参数都会有不一样的形态)

    于是,我们最终要解决的问题就是如何确定参数μ和σ,为了方便起见我一们一般把参数写成一个参数向量θ=(μ,σ)。

    我们把在参数向量θ下的正态分布下,某只一定体重的猫是橘猫的概率密度写做

    我们将统计到的100只橘猫数据集D在参数向量θ下的正态分布下可能性用连乘处理

    为什么我们要求L(θ)的最大呢?

    如下图例子现在有三只猫,10kg,20kg,30kg他们都是橘猫,我们已经知道它们服从正太分布,那么基于目前手上的数据,到底是哪一种分布更可能呢?显然是左边的,因为根据实际情况,这种出现的可能性最大(你在一堆橘猫中随意抓,最容易抓到体重趋于中位的那些个体)。的确右边这种情况也是会出现的,极大似然估计并不是百分百准确,但在数据量足够的情况下,还是可信的。所以我们理应相信左边这种情况更加靠谱。

    于是我们的目标就是关于L(θ)函数最大值时参数向量θ的取值

    但在实际情况下我们会取对数

    因为就我们上图这个简单的例子而言它的值就非常小了,实际情况更小,容易超出计算机的浮点范围,造成下溢。而且取ln相当于把连乘转化成累加,更加方便于求偏导计算极值。

    根据分布函数不同,具体求解似然函数的过程也有所差异,这里不做讨论。

    相关文章

      网友评论

        本文标题:机器学习-极大似然估计

        本文链接:https://www.haomeiwen.com/subject/rwymoftx.html