美文网首页业余知识科学家、哲学家机器学习与模式识别
【机器学习中的数学】广义逆高斯分布及其特例

【机器学习中的数学】广义逆高斯分布及其特例

作者: JasonDing | 来源:发表于2015-01-23 16:24 被阅读689次

    引言

    广义逆高斯作为一种含义丰富的概率分布,其参数为特定值时又衍生出几种经典有用的分布,现做一整理介绍。

    广义逆高斯分布(Generalized Inverse Gaussian Distribution)

    广义逆高斯分布的概率密度函数为:



    其中,Kp是a>0且b>0的第二类修正贝塞尔函数(Modified Bessel function of the second kind)。
    特别要注意这里,支撑集是x>0,即对于非负随机变量。
    其中第二类修正贝塞尔函数满足以下性质:


    伽玛分布(Gamma Distribution)

    当上面的广义逆高斯分布的b=0,r>0,a>0时,称为伽玛分布。


    记为X~Ga(p,a/2),这里的p称为形状参数,a/2称为尺度参数。
    其实际定义与观念是假设随机变量X为等到第p件事发生所需之等候时间。
    伽玛分布满足加成性,当两随机变量服从Gamma分配,互相独立,且单位时间内频率相同时,Gamma分布具有加成性。

    当p=1时,Gamma分布变成了指数分布(Exponential Distribution)。

    逆伽玛分布(Inverse Gamma Distribution)

    令广义逆高斯分布的参数a=0,r<0,b>0,就称作逆伽玛分布。



    这里的τ=-p,记为IG(τ,b/2)。

    逆高斯分布(Inverse Gaussian Distribution)

    令广义逆高斯分布的参数p=-1/2,称为逆高斯分布。


    先验分布和后验分布共轭的意义

    从贝叶斯角度进行参数估计,是求最大后验估计的过程。要求先验分布和后验分布是同一种形式但参数不同的分布(即先验分布和后验分布呈共轭关系),这是一个数学技巧,可以使计算变得简单,而求后验概率最大的积分过程转化成了求后验分布的众数(mode)的过程。

    实例一

    假设随机变量X~Bernoulli(θ),0<θ<1。
    因为θ的取值是在(0,1)之间,很自然会想到Beta分布是定义在该区间的,故给θ一个Beta分布作为先验,θ~Beta(α,β)。
    后验分布



    这也是一个Beta分布。

    实例二

    假设随机变量X~N(0,λ),这里我们把方差σ^2设为λ,其中λ>0。
    (1)我们假设λ满足Gamma分布,λ~Ga(λ|r,α/2)。
    这样,其后验



    这是一个广义逆高斯分布,当然我们也可以把Gamma分布看做一个广义逆高斯分布,但这做起来比较麻烦
    (2)我们假设λ满足逆Gamma分布,λ~Ig(τ,β/2)。
    其后验为



    这也是一个逆Gamma分布。
    这样方便计算。

    参考资料

    Wiki:广义逆高斯分布
    Wiki:贝塞尔函数
    Wiki:伽玛分布

    转载请注明作者Jason Ding及其出处
    Github博客主页(http://jasonding1354.github.io/)
    CSDN博客(http://blog.csdn.net/jasonding1354)
    简书主页(http://www.jianshu.com/users/2bd9b48f6ea8/latest_articles)

    相关文章

      网友评论

        本文标题:【机器学习中的数学】广义逆高斯分布及其特例

        本文链接:https://www.haomeiwen.com/subject/tvohxttx.html