1、PCA介绍
-
主成分分析（Principal Component Analysis，PCA）是最常用的一种降维方法，通常用于高维数据集的探索与可视化，还可以用作数据压缩和预处理等。
-
PCA可以把具有相关性的高维变量合成为线性无关的低维变量，称为主成分。主成分能够尽可能保留原始数据的信息。
->相关术语
在介绍PCA的原理之前需要回顾涉及到的相关术语：
-
方差：
是各个样本和样本均值的差的平方和的均值，用来度量一组数据的分散程度。
image.png
-
协方差：
用于度量两个变量之间的线性相关性程度，若两个变量的协方差为0，则可认为二者线性无关。
image.png
-
协方差矩阵
协方差矩阵则是由变量的协方差值构成的矩阵（对称阵）。 -
特征向量和特征值
image.png
矩阵的特征向量是描述数据集结构的非零向量，并满足如下公式：，A是方阵， v->是特征向量，lamda是特征值。
->算法原理
矩阵的主成分就是其协方差矩阵对应的特征向量，按照对应的特征值大小进行排序，最大的特征值就是第一主成分，其次是第二主成分，以此类推。
image.png
2、实例编写
->实验目标
已知鸢尾花数据是4维的，共三类样本。使用PCA实现对鸢尾花数据进行降维，实现在二维平面上的可视化。
->鸢尾花数据集介绍
鸢尾花数据集采集的是鸢尾花的测量数据以及其所属的类别。
测量数据包括:萼片长度、萼片 宽度、花瓣长度、花瓣宽度。
类别共分为三类:Iris Setosa， Iris Versicolour，Iris Virginica。该 数据集可用于多分类问题。
image.png
使用sklearn.datasets. load_iris即可加载相关数据集 其参数有:
- return_X_y:若为True，则以(data, target)形式返回数 据;默认为False，表示以字典形式返回数据全部信息(包括 data和target)。
示例：
>>> from sklearn.datasets import load_iris >>> iris = load_iris()
>>> print(iris.data.shape)
(150, 4)
>>> print(iris.target.shape)
(150, )
>>> list(iris.target_names) ['setosa', 'versicolor', 'virginica']
->sklearn中的PCA
在sklearn库中，可以使用sklearn.decomposition.PCA加载PCA进行 降维，主要参数有:
- n_components:指定主成分的个数，即降维后数据的维度
- svd_solver :设置特征值分解的方法，默认为‘auto’,其他可选有
‘full’, ‘arpack’, ‘randomized’。
代码：
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris
import numpy as np
data = load_iris()
y = data.target#使用y表示数据集中的标签
X = data.data#使用X表示数据集中的属性数据
pca = PCA(n_components=2)#加载PCA算法，设置降维后主成分数目为2
reduced_X = pca.fit_transform(X)#对原始数据进行降维，保存在reduced_X中
red_x, red_y = [], []
blue_x, blue_y = [], []
green_x, green_y = [], []
for i in range(len(reduced_X)):
if y[i] == 0:
red_x.append(reduced_X[i][0])
red_y.append(reduced_X[i][1])
elif y[i] == 1:
blue_x.append(reduced_X[i][0])
blue_y.append(reduced_X[i][1])
else:
green_x.append(reduced_X[i][0])
green_y.append(reduced_X[i][1])
plt.scatter(red_x, red_y, c='r', marker='X')
plt.scatter(blue_x, blue_y, c='b', marker='D')
plt.scatter(green_x, green_y, c='g', marker='.')
输出
image.png
可以看出，降维后的数据仍能够清晰地分成三类。 这样不仅能削减数据的维度， 降低分类任务的工作量，还 能保证分类的质量。
网友评论