机器学习入门——极大似然估计

作者: 阡陌哥哥 | 来源:发表于2018-05-08 17:06 被阅读19次

    先来看看几个小例子:猎人师傅和徒弟一同去打猎,遇到一只兔子,师傅和徒弟同时放枪,兔子被击中一枪,那么是师傅打中的,还是徒弟打中的?
    一个袋子中总共有黑白两种颜色100个球,其中一种颜色90个,随机取出一个球,发现是黑球。那么是黑色球90个?还是白色球90个?
    看着两个小故事,不知道有没有发现什么规律...由于师傅的枪法一般都高于徒弟,因此我们猜测兔子是被师傅打中的。随机抽取一个球,是黑色的,说明黑色抽中的概率最大,因此猜测90个的是黑色球。
    他们有一个共同点,就是我们的猜测(估计),都是基于一个理论:概率最大的事件,最可能发生

    概念

    极大似然估计方法(Maximum Likelihood Estimate,MLE)也称为最大概似估计或最大似然估计,似然就是可能性的意思。现在已经拿到了很多个样本,这些样本值已经实现,最大似然估计就是去找到那个(组)参数估计值,使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经出现了,其发生概率最大才符合逻辑。即,样本所展现的状态便是所有可能状态中出现概率最大的状态。

    原理

    最大似然估计的目的就是:利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值。通过若干次试验,观察其结果,利用试验结果得到某个参数值(这个参数值要具体问题具体分析)能够使样本出现的概率为最大,则称为极大似然估计。

    举个栗子



    现在有一个黑箱子里面有标有1或2的球共100个,现在从中有放回的抽取10个球,结果为{1,2,2,2,1,2,1,1,2,2},估计标有1的球在黑箱子里面有多少个。

    我们不妨把标有1的球设为θ个,那么抽到1的概率p(x=1)=θ/100,这里简单记作p,则产生实验结果{1,2,2,2,1,2,1,1,2,2}的概率为 P = (p ^ 4)*((1-p)^ 6),这里的待估参数为θ,P是一个关于θ的函数,不妨记作P(θ)。根据前面讲的原理,“已发生的就是概率最大的”,θ有多种可能取值,但根据最大似然原理,θ应当取使{1,2,2,2,1,2,1,1,2,2}发生的概率最大时对应的值,即求P(θ)取最大值时θ的取值。

    在这里,我们成P(θ)为似然函数,常记为L(θ),或L(θ)=L(x1, x2 ,..., xn; θ),其中x1, x2 ,..., xn是已发生的样本,记p(xi; θ)为xi发生的概率,则似然函数可以写为:


    若总体X为连续型,其概率密度函数为f(x; θ),θ为未知参数。则似然函数为:

    极大似然法的一般步骤:

    1 构造似然函数L(θ)
    2 取对数:lnL(θ)
    3 求导,计算极值
    4 解方程,得到θ

    对于第3步不能利用求导取极值的情况,可以先将求对数似然函数的极大值转化为求极小值(或最小值),然后如果转换后的函数时高阶连续可导凸函数,则可以利用梯度下降法、牛顿法等求其最优解。

    参考:https://baike.baidu.com/item/%E6%9E%81%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1/3350286?fr=aladdin
    https://www.zhihu.com/question/20447622
    https://www.jianshu.com/p/e4443c4bd69e
    https://blog.csdn.net/zengxiantao1994/article/details/72787849
    https://www.cnblogs.com/xing901022/p/8418894.html

    微信公众号.jpg

    相关文章

      网友评论

        本文标题:机器学习入门——极大似然估计

        本文链接:https://www.haomeiwen.com/subject/zyhmrftx.html