PCA原理分析

原理和过程

PAC主要用于线性降维，原理很简单如下图所示：

PCA原理分析

解释：
X：输入矩阵，即原始数据，表示m个有n个维矩阵（n即是我们要降的维度）
C：是X的协方差矩阵
P：求C的特征值和特征向量，然后将特征向量按特征值的大小排列，取前面R个组成向量P（r为你希望降至的维数），由矩阵论知识易知P为正交基。
Y：即为所求
D：是Y的协方差矩阵，对角线元素为C的特征值，其余值为0

sklearn实现

>>> import numpy as np
>>> from sklearn.decomposition import PCA
>>> X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
>>> pca = PCA(n_components=2)
>>> pca.fit(X)
PCA(copy=True, iterated_power='auto', n_components=2, random_state=None,
  svd_solver='auto', tol=0.0, whiten=False)
>>> print(pca.explained_variance_ratio_)  
[ 0.99244...  0.00755...]
>>> print(pca.singular_values_)  
[ 6.30061...  0.54980...]

源代码实现

定义PCA类

class PCA(object):
    """定义PCA类"""
    def __init__(self, x, n_components=None):
        self.x = x
        self.dimension = x.shape[1]

        if n_components and n_components >= self.dimension:
            raise DimensionValueError("n_components error")

        self.n_components = n_components

接下来就是计算协方差矩阵，特征值，特征向量，为了方便下面的计算，我把特征值和特征向量整合在一个dataframe内，并按特征值的大小降序排列：

 def cov(self):
        """求x的协方差矩阵"""
        x_T = np.transpose(self.x)                           #矩阵转置
        x_cov = np.cov(x_T)                                  #协方差矩阵
        return x_cov

    def get_feature(self):
        """求协方差矩阵C的特征值和特征向量"""
        x_cov = self.cov()
        a, b = np.linalg.eig(x_cov)
        m = a.shape[0]
        c = np.hstack((a.reshape((m,1)), b))
        c_df = pd.DataFrame(c)
        c_df_sort = c_df.sort(columns=0, ascending=False)    
        return c_df_sort

最后就是降维，用了两种方式，指定维度降维和根据方差贡献率自动降维，默认方差贡献率为99%：

def reduce_dimension(self):
        """指定维度降维和根据方差贡献率自动降维"""
        c_df_sort = self.get_feature()
        varience = self.explained_varience_()

        if self.n_components:                                #指定降维维度
            p = c_df_sort.values[0:self.n_components, 1:]
            y = np.dot(p, np.transpose(self.x))              
            return np.transpose(y)

        varience_sum = sum(varience)                         
        varience_radio = varience / varience_sum

        varience_contribution = 0
        for R in xrange(self.dimension):
            varience_contribution += varience_radio[R]       
            if varience_contribution >= 0.99:
                break

        p = c_df_sort.values[0:R+1, 1:]                      #取前R个特征向量
        y = np.dot(p, np.transpose(self.x))                  
        return np.transpose(y)

PCA_on_IRIS

加载iris数据集

from sklearn import datasets
iris = datasets.load_iris()
X = iris.data
y = iris.target
target_names = iris.target_names</pre>

X由四维特征表示

2018-11-23 10-40-13屏幕截图.png

使用PCA算法降至2维

pca = PCA(n_components=2)
X_r = pca.fit(X).transform(X)

plt.figure()
colors = ['navy', 'turquoise', 'darkorange']

for color, i, target_name in zip(colors, [0, 1, 2], target_names):
    plt.scatter(X_r[y == i, 0], X_r[y == i, 1], color=color, alpha=.8, lw=2, label=target_name)

plt.legend(loc='best', shadow=False, scatterpoints=1)
plt.title('PCA of IRIS dataset')

plt.show()

2018-11-23 10-42-01屏幕截图.png

参考：https://blog.csdn.net/u011473714/article/details/79745532