01 数据降维

数据分析中，我们常常面对较大的数据集，这里的“大”，一是指样本量大（如千万量级），二是指高维度（如几百个维度）。因此在正式分析这些大数据前，我们需要对它们做预处理，从而缩减数据维度，提升处理效率和训练效果。

数据降维就是一种数据预处理技术，常用的降维技术如下：

主成分分析 PCA

因子分析 Factor Analysis

独立成分分析 ICA

本文介绍并实践了一种常用的数据降维方法——主成分分析(PCA)

让我们一起来看看吧~

02 PCA原理

主成分分析的原理非常简单，概括来说就是选择包含信息量大的维度，去除信息量少的“干扰”维度，具体如下：

数据从原来的坐标系转换到新的坐标系，新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大的方向(即数据差异性最大的方向)，第二个新坐标轴选择与第一个新坐标轴正交且具有最大方差的方向，以此类推，共建立与原始数据特征数目相等的新坐标轴。
我们会发现，大部分方差都包含在最前面的几个新坐标轴中，因此我们可以忽略余下的坐标轴，从而实现降维。（方差大代表不同数据之间的差异大，即，包含的可区分信息量大）

注意，PCA降维后，原始数据被映射到了新坐标系，不是原始值了。

03 python实现

根据PCA原理，我们写出如下PCA的过程，然后用python实现。

过程：

去除平均值(防止协方差计算中出现乘以0的情况)

计算协方差矩阵np.cov()，并计算该矩阵的特征值和特征向量nplinalg.eig()

将特征值降序排序，保留前N个特征值对应的特征向量(N为PCA保留的特征数，人为设定)

将原始数据转换到这N个特征向量构建的新空间中(矩阵乘法：原始数据*特征向量)

将转换到新空间的原始数据，映射到新坐标系中，得到降维之后的数据集

python实现如下

def pca(dataMat,topNfeat=999999):
    meanVals=np.mean(dataMat,axis=0) #求dataMat各列均值
    meanRemoved=dataMat-meanVals #减去原始数据中的均值，避免协方差计算中出现乘以0的情况
    covMat=np.cov(meanRemoved,rowvar=0) #rowvar=0-->以列代表一个变量，计算各列之间的协方差
    eigVals,eigVects=np.linalg.eig(np.mat(covMat)) #协方差矩阵的特征值和特征向量
    eigValInd=np.argsort(eigVals) 
    eigValInd=eigValInd[:-(topNfeat+1):-1] #对升序排序结果从后往前取topNfeat个值
    redEigVects=eigVects[:,eigValInd] #取选定特征值对应的特征向量，从而转换原始数据
    lowDemData=meanRemoved*redEigVects #将原始数据转换到新空间
    reconMat=(lowDemData*redEigVects.T)+meanVals #降维后的数据集
    return lowDemData,reconMat

用一组简单的二维数据来测试一下