00004. GDA模型中，为什么只使用同一个协方差矩阵？

作者: deBroglie | 来源:发表于2019-03-25 18:10 被阅读0次

00004. GDA模型中，为什么只使用同一个协方差矩阵？
协方差定义及公式
2018-10-29 修改model - 共用协方差矩阵
方差、协方差与归一化
OpenGL矩阵堆栈处理
Asreml-R中的方差模型
GMM基础
如何从形的角度理解协方差矩阵
为什么要PCA，不直接SVD？
Daily Source

GDA(高斯判别分析模型)

GDA的全称是Gaussian Discriminant Analysis model，中文名称是高斯判别分析模型，是生成学习模型的典型代表，用于研究分类问题。在该模型中，样本类型服从多项式分布，而每个样本取值都服从Gauss分布。

对于二分类问题，样本类型有两种情况，服从Bernoulli分布，整个模型建构为： $\small{y \sim Bernoulli(\phi)}$ $\small{X=\vec{x}|y=0 \sim N(\vec{\mu}_0, \Sigma)}$ $\small{X=\vec{x}|y=1 \sim N(\vec{\mu}_1, \Sigma)}$ 待估计的模型参数即 $\small{(\phi, \vec{\mu}_0, \vec{\mu}_1, \Sigma)}$ ，那么为什么通常这里只选取一个 $\small{\Sigma}$ 而不是 $\small{\Sigma_1, \Sigma_2}$ 呢？仅仅是为了选择一个更简单的模型来计算？

其实原因很简单，我们选择同一个协方差矩阵 $\small{\Sigma}$ 完全是因为每个高斯分布的协方差矩阵本来就是相同的。注意到 $\small{n}$ 维随机变量 $\small{X}$ 的协方差矩阵（作为协方差的自然推广）的定义： $\small{\Sigma=(\sigma_{ij})_{n\times n}; \ \sigma_{ij}=Cov(X_i, X_j); \ i,j=1,\cdots n}$ 因此协方差矩阵 $\small{\Sigma}$ 只依赖于模型中已选定的全部特征（这些特征表达为有值向量随机变量 $\small{X}$ ）。既然包含了全部所选特征，自然是同一个 $\small{\Sigma}$ 。