揭秘：最大方差旋转法数学公式推导

作者: 多美丽 | 来源:发表于2019-06-10 13:08 被阅读0次

揭秘：最大方差旋转法数学公式推导
Machine Learning (2)
如何从形的角度理解协方差矩阵
深度学习 — 反向传播(BP)理论推导
理解求样本方差时除以n-1，而不是n
机器学习读书笔记 — PCA 主成分分析
最大后验推导L2（Ridge）回归
2018-09-14
超级简单PCA和KPCA
PCA最大方差

今天也是准备因子分析的一天，今天主要解决的问题是——目标函数：最大方差旋转法是如何用公式表示的。

背景：为什么需要因子旋转？

简单来讲，当因子的命名解释含糊不清的时候。比如图1。

图1：方差旋转前因子载荷矩阵

由图1知，

7个变量在第1个因子上的载荷都很高，意味着它们与第1个因子的相关程度很高，第1个因子很重要。同时也可以这样理解，因为因子载荷 $a_{ij}$ 的绝对值在第1列的多个行上都有较大的数值，均大于0.77，这个值已经很高了，表明因子 $f_{1}$ 能够同时解释许多变量的信息，因子 $f_{1}$ 不是任何一个原始变量 $x_{i}$ 的典型代表。

第2个因子与原始变量的相关性均很小，它对原始变量的解释作用不显著。另外可以看到这两个因子的实际含义比较模糊。

因此，需要一种方法，让因子载荷矩阵因子解释有代表性，所以最大方差旋转法应运而生。正交旋转的方法很多，比如还有四次方最大法和等量最大法等。这里我们只解释最大方差旋转法。

图2为使用最大方差旋转法后的因子载荷矩阵。

图2：方差旋转后因子载荷矩阵

解释：如何用数学公式解释最大方差旋转

假设原始变量有7个，因子取了2个。

方差旋转前因子载荷矩阵为 $A_{7*2}$ ，参照图1。

方差旋转后因子载荷矩阵为 $B_{7*2}$ ，参照图2。 $B=\left\{ B_{ij} \right\}$ 。

方差基础公式准备： $Var=\frac{1}{n} \sum_{i=1}^n (x_{i} -\bar{x} )^2 =\frac{1}{n} (\sum_{i=1}^n x_{i} ^2 -n\bar{x} ^2 )$

设因子载荷中第 $j$ 列的方差为 $V_{j}$ ,第 $j$ 列的均值为 $\bar{x_{j} }$ 。

第 $j$ 列的方差 $V_{j} =\frac{1}{p} \sum_{i=1}^p (x_{ij}-\tilde{x_{j} } )^2 =\frac{1}{p} (\sum_{i=1}^px_{ij} ^2-p\bar{x_{j} } ^2 )$ 。其中， $x_{ij} =d_{ij} ^2 =(\frac{b_{ij} }{h_{i} } )^2=\frac{b_{ij} ^2 }{h_{i} ^2 }$ ，

$\bar{x_{j} } =\frac{1}{p} \sum_{i=1}^pd_{ij} ^2 =\frac{1}{p} \sum_{i=1}^p\frac{b_{ij} ^2 }{h_{i} ^2 }$ 。

然后，见下图3。（输公式实在太累了）

这是第 $j$ 列的方差，在此题目中，我们提取了2个因子，所以我们的目标函数是，使得 $V_{1} +V_{2}$ 最大，然后通过求极值的方法求解出参数。

揭秘：最大方差旋转法数学公式推导
今天也是准备因子分析的一天，今天主要解决的问题是——目标函数：最大方差旋转法是如何用公式表示的。背景：为什么需要...
Machine Learning (2)
理解偏差和方差学习误差为什么是偏差和方差而产生的，并且推导数学公式过拟合，欠拟合，分别对应 bias 和 va...
如何从形的角度理解协方差矩阵
协方差矩阵定义了我们数据的传播（方差）和方向（协方差）。协方差矩阵的最大特征向量总是指向数据最大方差的方向，并且...
深度学习 — 反向传播(BP)理论推导
关于简书中如何编辑Latex数学公式 [RNN] Simple LSTM代码实现 & BPTT理论推导【知识预备...
理解求样本方差时除以n-1，而不是n
这篇博文讲的非常清楚，最好自己动手推导以下。彻底理解样本方差为何除以n-1
机器学习读书笔记 — PCA 主成分分析
1. pca的目标是最大化方差，方差指的是什么？对于这个问题，方差指的是 2.不同的投影方式的方差有什么区别？ ...
最大后验推导L2（Ridge）回归
序本次记录最大后验推导L2回归的推导过程极大似然与最大后验的区别推导过程转载注明：https://www....
2018-09-14
1.多样性好处的数学公式（1）群体能力 = 平均个人能力 + 多样性（2）多样性 > 能力群体预测的方差 =...
超级简单PCA和KPCA
。当时，答案就是。那么我们PCA要做的就是找到方差最大的点的投影。你肯定会想到，为什么方差要最大呢？因为当我们...
PCA最大方差
简述： PCA是一种线性、非监督、全局的降维算法。在高维的特征数据空间中有可能会包含冗余与噪声，因此需要寻找数据内...