本章涉及到的知识点清单：
1、矩阵的特征向量和特征值
2、如何求解矩阵的特征向量和特征值
3、方差、协方差和散度矩阵
4、PCA的算法步骤
5、将原始数据变为低维数据
6、将低维数据还原成原始数据
7、与sklearn中的PCA算法比较
一、矩阵的特征向量和特征值
数学上，一个线性变换可以由其特征值和特征向量来描述这个变换过程。我们用运动学的角度看待这两个概念，不妨将矩阵视为一个运动，研究这个运动最重要的显然就是运动的速度和方向
任意一组基中的两个向量v和Av
可以观察到，v向量左乘一个矩阵A后生成一个新向量Av，当v和Av在同一条直线上时，Av相对于v的长度发生了变化，但其方向保持不变。我们就称v是A的特征向量，而Av的长度是v的长度的λ倍，λ是一个标量，也就是特征值
从而，特征值与特征向量的方程定义为：
特征值与特征向量
上式的意义可以表述为：如果特征向量v被某个矩阵A左乘，那么它等价为某个标量λ乘以v。从运动的角度可以看出，特征值λ是标量，代表其运动的速度，而特征向量v是矢量，代表其运动的方向，二者组合出的运动行为就是一个线性变化
特征值越大，说明矩阵所对应的特征向量上的方差也就越大，信息量也就越多，所以整个PCA算法的核心就是求解矩阵的特征向量和特征值
二、如何求解矩阵的特征向量和特征值
在线性代数中，我们可以由特征值方程推导出如下形式来求解矩阵的特征值
特征值方程
其中I是单位矩阵，比如我们有一个如下2*2的矩阵A
案例矩阵A
带入A到特征值方程可以求解出特征值λ
求解特征值
可以看到有两个特征值，也就有两组特征向量，设特征向量为(x1,x2)
(i):将第一个特征值λ1=-1带入特征方程得
求解特征向量1
可以看到第一组特征向量是以任意基为底，满足x1=-x2的关系即可
(ii):将第二个特征值λ2=4带入特征方程得
求解特征向量2
可以看到第二组特征向量是以任意基为底，满足x1=1.5*x2的关系即可
综上(i)(ii)：我们求解出了矩阵的特征向量和特征值，同时也可以看出特征向量所在方向上的向量都是特征向量（即任意基为底满足特征向量关系的向量）
三、方差、协方差和散度矩阵
在概率论和统计学中，方差是衡量源数据和期望值的离散程度，方差的定义为
方差的定义
可以看到方差是协方差的一种特殊情况，即变量是相同的情况。而当有两个变量时，协方差可以表示两个变量总体误差的期望，当两个变量变化趋势一致，即同时大于其自身的期望，则协方差就是正值；当其中一个变量大于自身期望而另一个变量小于自身期望，那么协方差就是负值
协方差的定义
PCA算法就是利用了得到目标数据的协方差矩阵后，求解其特征值和特征向量，而协方差矩阵和散度矩阵关系密切，因为它们的特征值和特征向量是一样的
散度矩阵的定义
从散度矩阵的定义也可以明显看出，散度矩阵和协方差的关系为
散度矩阵和协方差的关系
同时散度矩阵也是SVD奇异值分解的第一步，因此PCA和SVD是有很大的联系
四、PCA的算法步骤
1、去除原始数据的平均值
2、计算原始数据的散度矩阵
3、求解散度矩阵的特征向量和特征值
4、根据特征值的大小，从大到小排序特征向量
5、选取前K个特征向量
6、将原始数据转换到上述K个向量所构建的新空间中完成降维
五、将原始数据变为低维数据
假设我们有如下4个维度的原始数据，下面我们将数据降为1个维度来表示
原始数据
PCA降维算法
利用PCA的算法思想，最终可以得到
降到一维后的数据
可以看到原始数据已经从4维数据降成了1维数据，打印前后方差比可以看到
一维数据前后数据的方差比
变为1维数据后，方差总的损失非常小，也就是说降维后，源数据的重要信息基本保留。而当把数据降维到二维数据后方差比为
二维数据前后数据的方差比
同时可以看到，降低的维度越高，方差损失的越小
六、将低维数据还原成原始数据
我们还可以利用降维后的数据和算法保留的前K个特征向量以及原始数据的均值，反过来从降维数据求解出原始高维数据，这样可以更加直观的观察算法的实验效果
根据前K个特征向量还原原始数据
一维数据还原为原始数据
二维数据还原为原始数据
实验结果中，也可以得到降低的维度约低，方差损失的越多
七、与sklearn中的PCA算法比较
sklearn是机器学习领域中最知名的python模块之一，它已经封装了大量的机器学习方法，下面用同一份测试数据集，来实验我们一步步写的PCA算法和sklearn封装的PCA算法的差异
sklean的PCA算法
一维数据前后数据的方差比
二维数据前后数据的方差比
从实验结果上来看，sklearn封装的PCA算法与我们根据散度矩阵、特征值和特征向量写出来的PCA算法效果基本一致，同时也可证明PCA底层算法核心的正确性
PCA算法案例代码见：PCA算法思想
网友评论