主成分分析（PCA）是一种无监督的学习方式，是一种常用的线性降维方法。如果遇到多因素分析，想要很多个自变量与因变量进行线性回归分析，一般都必须进行降维处理，而主成分分析是一种很好的解决方案。
一、PCA简介
PCA是将数据的n维特征映射到k维上（k<n），k维是全新的正交特征。这里的k维是重新构造出来的k维特征，而不是简单的从n维特征中找出k维。
PCA求解的一般流程为：
（1）将原始数据进行标准化；
（2）计算标准化数据集的协方差矩阵；
（3）计算协方差矩阵的特征值和特征向量；
（4）保留最重要的k个特征（k<n），可以选择一个阈值，让前k个特征值之和减去后面n-k个特征值之和大于这 个阈值，找到这个k值，计算主成分变量值；
（5）找到这k个特征值对应的特征向量；
（6）将m乘n的数据集乘以k个n维的特征向量（n乘k），得到最终降维的数据集；
其实PCA的本质就是对角化协方差矩阵，解释一下为什么将特征值按照从大到小排序后再选择。首先解释一下特征值和特征向量表示什么。在线性代数中，对一个n*n的对称矩阵进行分解，我们可以求出它的特征值和特征向量，就会产生n个n维的正交基，每个正交基会对应一个特征值。然后把矩阵投影到这n个正交基上，此时特征值的模就表示矩阵在该基的投影长度。特征值越大，表示矩阵在对应的特征向量上的方差越大，样本越离散，越容易区分，信息量也越多。因此，特征值最大的对应的特征向量方向上所包含的信息量就越多。如果某几个特征值很小，那么说明在该方向上的信息量非常少，我们就可以删除小特征值所对应方向的数据，只保留大特征值方向对应的数据，这样做以后数据量越小，但是有用的信息量都保留下来了。
二、PCA的python实现
矩阵运算需要用到numpy包以及numpy包中的genfromtxt函数，这个函数是可以读取csv文件；还需要用到matplotlib进行画图
import numpy as np
from numpy import genfromtxt
import matplotlib.pyplot as plt
读取csv文件程序：
dataPath = r"D:\python\data.csv"
dataMat = genfromtxt(dataPath, delimiter=',')
设计pca函数
def pca(dataMat, k):
average = np.mean(dataMat, axis=0) #按列求均值
m, n = np.shape(dataMat)
meanRemoved = dataMat - np.tile(average, (m,1)) #减去均值
normData = meanRemoved / np.std(dataMat) #标准差归一化
covMat = np.cov(normData.T) #求协方差矩阵
eigValue, eigVec = np.linalg.eig(covMat) #求协方差矩阵的特征值和特征向量
eigValInd = np.argsort(-eigValue) #返回特征值由大到小排序的下标
selectVec = np.matrix(eigVec.T[:k]) #因为[:k]表示前k行，因此之前需要转置处理（选择前k个大的特征值）
finalData = normData * selectVec.T #再转置回来
return finalData
我们可以得到最终的结果
finalData = pca(dataMat, 2)
plt.scatter(dataMat.T[:1],dataMat.T[1:], color='red', s=20)
plt.scatter(finalData.T[:1],finalData.T[1:], color='blue', s=20)
plt.show()
plt.close()
结果如下：
如果我们不直接给出需要的前k个主成分，而是编程前k个主成分占总体90%确定k，程序如下：
def setK(eigValue, rate):
eigValInd = np.argsort(-eigValue) #返回特征值由大到小排序的下标值
for i in range(1, eigValue.size+1):
topK = eigValInd[i-1]
eigVal = eigValue[topK]
a = eigVal.sum()
b = eigValue.sum()
if a/b >= rate:
break
return i
此时，修改两个地方：
finalData = pca(dataMat, rata)
k = setK(eigValInd, rata)
之后就完成了主成分分析
网友评论