Factor Analysis

作者: zealscott | 来源:发表于2019-05-14 22:27 被阅读0次

这应该是学ML依赖推导过的最痛苦的算法了，所以我想先用直观的语言描述什么是Factor analysis。

因子分析(factor analysis)是一种数据简化的技术。它通过研究众多变量之间的内部依赖关系，探求观测数据中的基本结构，并用少数几个假想变量来表示其基本的数据结构。这几个假想变量能够反映原来众多变量的主要信息。原始的变量是可观测的显在变量，而假想变量是不可观测的潜在变量，称为因子。

由于存在隐变量，同时不能由MLE得到close form，因此很自然的想到了之前提到的EM算法。本文主要用EM算法推到因子分析的参数估计过程。

问题

之前我们考虑的训练数据中样例x (𝑖) 的个数 m 都远远大于其特征个数 n，这样不管是行回归、聚类等都没有太大的问题。然而当训练样例个数 m 太小，甚至 m<<n 的时候，使用梯度下降法进行回归时，如果初值不同，得到的参数结果会有很大偏差（因为方程数小于参数个数）。另外，如果使用多元高斯分布(Multivariate Gaussian distribution)对数据进行拟合时，也会有问题。

例如，多元高斯分布的参数估计如下：
$\begin{array}{c}{\mu=\frac{1}{m} \sum_{i=1}^{m} x^{(i)}} \\ {\Sigma=\frac{1}{m} \sum_{i=1}^{m}\left(x^{(i)}-\mu\right)\left(x^{(i)}-\mu\right)^{T}}\end{array}$
分别是求 mean 和协方差的公式，x 是 n 维向量， $\Sigma$ 是 n*n 协方差矩阵。

当 m<<n 时，我们会发现 $\Sigma$ 是奇异阵（ | $\Sigma$ | = 0），也就是说 $\Sigma^{-1}$ 不存在，没办法拟合出多元高斯分布了，确切的说是我们估计不出来 $\Sigma$ 。

因此，我们可以对 $\Sigma$ 进行限制，从而使得其可逆。最简单的想法就是使得 $\Sigma$ 变为对角矩阵，但这样有很大的坏处

：这样的假设意味着特征间相互独立，表示在图上就是contour的各个维度与坐标轴平行。

Preliminary

首先不加证明的给出几个结论

设 $x=\left[ \begin{array}{l}{x_{1}} \\ {x_{2}}\end{array}\right]$ ， $x \sim \mathcal{N}(\mu, \Sigma)$ ，其中 $\mu=\left[ \begin{array}{c}{\mu_{1}} \\ {\mu_{2}}\end{array}\right], \quad \Sigma=\left[ \begin{array}{cc}{\Sigma_{11}} & {\Sigma_{12}} \\ {\Sigma_{21}} & {\Sigma_{22}}\end{array}\right]$ 。
求条件概率 $x_{1} | x_{2} \sim \mathcal{N}\left(\mu_{1|2}, \Sigma_{1 | 2}\right)$
- $\begin{aligned} \mu_{1|2} &=\mu_{1}+\Sigma_{12} \Sigma_{22}^{-1}\left(x_{2}-\mu_{2}\right) \\ \Sigma_{1 | 2} &=\Sigma_{11}-\Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21} \end{aligned}$

Factor analysis model

思想

因子分析的实质是认为 m 个 n 维特征的训练样例 $\mathrm{X}^{(i)}\left(x_{1}^{(i)}, x_{2}^{(i)}, \ldots, x_{n}^{(i)}\right)$ 的产生过程：

首先在一个k维空间中按照多元高斯分布生成m个 $z^{i}$ 的k维向量，即：
- $z^{(i)} \sim N(0, I)$
然后定义一个变换矩阵 $\Lambda \in \mathbb{R}^{\mathrm{n} \times \mathrm{k}}$ ，将z映射到n维空间中，即：
- $\Lambda z^{(i)}$
然后将 $\Lambda z^{(i)}$ 加上一个均值 $\mu$ ，即：
- $\mu+\Lambda z^{(i)}$
- 对应的意义是将变换后的 $\Lambda z^{(i)}$ （n 维向量）移动到样本的中心点 $\mu$ 。
最后再加入一个噪声 $\epsilon \sim N(0, \Psi)$ ，从而得到：
- $\mathrm{x}^{(i)}=\mu+\Lambda z^{(i)}+\epsilon$

这个过程的直观解释是：在低维空间中的随机变量，通过一个仿射变换映射到样本的高维空间，然后再加入随机误差生成。因此，高维数据可以使用低维数据表示。

联合分布

我们可以通过之前的结论得到隐变量和目标变量的联合分布：
$\left[ \begin{array}{l}{z} \\ {x}\end{array}\right] \sim \mathcal{N}\left(\mu_{z x}, \Sigma\right)$
不难求得：
$\mu_{z x}=\left[ \begin{array}{c}{\overrightarrow{0}} \\ {\mu}\end{array}\right]$

$\Sigma = \left[ \begin{array}{cc}{I} & {\Lambda^{T}} \\ {\Lambda} & {\Lambda \Lambda^{T}+\Psi}\end{array}\right]$

因此MLE为：
$\ell(\mu, \Lambda, \Psi)=\log \prod_{i=1}^{m} \frac{1}{(2 \pi)^{n / 2}\left|\Lambda \Lambda^{T}+\Psi\right|^{1 / 2}} \exp \left(-\frac{1}{2}\left(x^{(i)}-\mu\right)^{T}\left(\Lambda \Lambda^{T}+\Psi\right)^{-1}\left(x^{(i)}-\mu\right)\right)$

很显然，直接求解这个式子是困难的，因此我们可以使用EM算法。

EM估计

求解过程相当繁琐，大家可以自行参考CS229的官方notes。这里只给出参数估计：
$\Lambda=\left(\sum_{i=1}^{m}\left(x^{(i)}-\mu\right) \mathrm{E}_{z^{(i)} \sim Q_{i}}\left[z^{(i)^{T}}\right]\right)\left(\sum_{i=1}^{m} \mathrm{E}_{z^{(i)} \sim Q_{i}}\left[z^{(i)} z^{(i)^{T}}\right]\right)^{-1}$
实际上，我们对这个仿射变换的矩阵的估计，很类似于最小二乘的结果： $\theta^{T}=\left(y^{T} X\right)\left(X^{T} X\right)^{-1}$

这是因为，我们希望通过这个矩阵得到z和x的线性关系，因此直观的可以认为其想法类似。

同时可求得其他的参数：
$\mu=\frac{1}{m} \sum_{i=1}^{m} x^{(i)}$

$\Phi=\frac{1}{m} \sum_{i=1}^{m} x^{(i)} x^{(i) T}-x^{(i)} \mu_{z^{(i)}\left|x^{(i)}\right.}^{T} \Lambda^{T}-\Lambda \mu_{z^{(i)} | x^{(i)}} x^{(i)^{T}}+\Lambda\left(\mu_{z^{(i)}\left|x^{(i)}\right.} \mu_{z^{(i)}\left|x^{(i)}\right.}^{T}+\Sigma_{z^{(i)} | x^{(i)}}\right) \Lambda^{T}$

思考

因子分析与回归分析不同，因子分析中的因子是一个比较抽象的概念，而回归因子有非常明确的实际意义；

主成分分析分析与因子分析也有不同，主成分分析仅仅是变量变换，而因子分析需要构造因子模型。

主成分分析:原始变量的线性组合表示新的综合变量，即主成分；

因子分析：潜在的假想变量和随机影响变量的线性组合表示原始变量。

Reference

An Introduction to Probabilistic Graphical Models by Jordan Chapter 14
CS229

Factor Analysis

问题

Preliminary

Factor analysis model

思想

联合分布

EM估计

思考

Reference

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读