GMM基础

作者: cherryleechen | 来源:发表于2019-05-08 14:10 被阅读15次

一、单成分单变量高斯模型

图1.1 单成分单变量高斯模型1
图1.2 单成分单变量高斯模型2
图1.3 单成分单变量高斯模型3

二、单成分多变量高斯模型

图2.1 单成分多变量高斯模型1

若协方差矩阵为对角矩阵且对角线上值相等,两变量高斯分布的等值线为圆形。

图2.2 单成分多变量高斯模型2

若协方差矩阵为对角矩阵且对角线上值不等,两变量高斯分布的等值线为椭圆形。长轴平行于取较大值的变量所在的轴,短轴平行于取较小值的变量所在的轴。

图2.3 单成分多变量高斯模型3

若协方差矩阵为非对角矩阵,表明变量之间存在相关性,相关系数取-1到1之间的非0值。

图2.4 单成分多变量高斯模型4

上图中两变量高斯分布的等值线长轴平行于x_1=-0.5x_2这条直线。

图2.5 单成分多变量高斯模型5

三、多成分多变量高斯混合模型

基于先验概率P(m)选择成分后,基于P(X|m)生成数据。

图3.1 多成分多变量高斯混合模型1

为减少参数数目,常假设协方差矩阵为对角矩阵且对角线取值相等。

图3.2 多成分多变量高斯混合模型2
图3.3 多成分多变量高斯混合模型3

如果哪个成分生成哪个数据的对应关系已知,即强制对齐,这时使用MLE进行参数估计

图3.4 多成分多变量高斯混合模型4

通常情况下,这种生成数据的对应关系是未知的,即存在隐变量,这时使用EM替代MLE进行参数估计。

图3.5 多成分多变量高斯混合模型5

E步其实计算的是P(m|X),即软分配。
强制对齐下,将X分配给其中的一个成分;
软分配下,将X以一定的概率值分配给每个成分。

图3.6 多成分多变量高斯混合模型6

用GMM对数据进行拟合比用单个Gaussian拟合数据更加准确。

图3.7 多成分多变量高斯混合模型7
图3.8 多成分多变量高斯混合模型8
图3.9 多成分多变量高斯混合模型9

相关文章

网友评论

    本文标题:GMM基础

    本文链接:https://www.haomeiwen.com/subject/kkeonqtx.html