PCA原理及实现-R

PCA分析与解释

PCA是一种无参数的数据降维方法，常用的机器学习算法一种，这篇文章主要从PCA应用于解释两个方面介绍。关于PCA原理，详情这里

PCA主要是，在数据处理与分析时候，一个数据集有很多变量（维度），譬如患者肿瘤发生，有吸烟，饮食等生活史，和临床生化检查等，这些变量间相互关联，纳入模型，影响效率与模型构建。所以PCA就是从众多变量中找出特征值，能够代表这些变量，来解释最终结果。

接下来，就在R环境中，用iris数据，来构建PCA模型与解释如何应用PCA模型。

PCA实例

通过iris数据集，根据测量花瓣的长度，宽度等信息，对花Species的种类进行聚类分析。首先将iris数据集分成两部分，train用于训练，test用于测试。在进行PCA分析之前，需要确保所有的变量数据类型为连续性变量，分类变量是不识别的！而且为避免变量与变量之间量纲差异，需要对连续性变量进行scale标准化。

#####
library(factoextra)
library(tidyverse)

# Split Data into Training and Testing in R 
sample_size = floor(0.8*nrow(iris))
set.seed(777)

# randomly split data in r
picked = sample(seq_len(nrow(iris)),size = sample_size)
df1 =iris[picked,] %>% as.tbl()
df2 =iris[-picked,] %>% as.tbl()

## 1.pca
res.pca <- prcomp(df1[,-5], scale = T) # 标准化

现在可以对数据进行PCA分析了，一般有多少个连续变量，就会有多少特征向量，特征向量是什么，见这里。为什么要计算特征向量就是要将所有变量转换为特征值eigen vector，每个特征值都可以解释的差异百分比！Factors that add minimal variance explanation can be removed.
可以对PCA模型进行，plot

## 2.the percentage of variances explained by each principal component.
fviz_eig(res.pca)

image.png

这个图表示，前两个特征向量（PCA）解释了超过95％的方差，仅第一个维度就解释了73.1％。我们可以放心地将聚类分析集中在两个维度上，原来6个变量，可以用两个特征向量来表示！现在根据PCA 1与PCA 2，来对数据进行绘图！

## 3.Individuals with a similar profile are grouped together.
fviz_pca_ind(res.pca,
             col.ind = "cos2", # Color by the quality of representation
             gradient.cols = c("#00AFBB", "#E7B800", "#FC4E07"),
             repel = TRUE     # Avoid text overlapping
)

image.png

进一步我们需要知道，每个变量与特征向量的关系如何，PCA bilplot！
这个图表显示了每个原始变量对每个新PCA的影响程度。对于PCA1来说,"Sepal.Length"、"Petal.Length"、 "Petal.Width" 都是负正相关，只有"Sepal.Width" 是正负相关，根据Dim1的坐标判断。而对于PCA2，全是正负相关PCA biplot解释，根据Dim1的坐标判断。而对于PCA2，全是正相关。根据变量之间的夹角，还可以判断变量与变量间的相关系，夹角小于90度为正相关，大于90度为负相关，等于90度，没有相关性，可以验证下。

## 3.Individuals with a similar profile are grouped together.

fviz_pca_var(res.pca, col.var = "contrib", 
             gradient.cols = c("white", "blue", "red"),
             ggtheme = theme_minimal())

fviz_pca_biplot(res.pca, label = "var", habillage=df1$Species,
                addEllipses=TRUE, ellipse.level=0.95,
                ggtheme = theme_minimal())

cor(df1[,-5])
             Sepal.Length Sepal.Width Petal.Length Petal.Width
Sepal.Length    1.0000000  -0.1183494    0.8625614   0.8117941
Sepal.Width    -0.1183494   1.0000000   -0.4480079  -0.3872041
Petal.Length    0.8625614  -0.4480079    1.0000000   0.9633883
Petal.Width     0.8117941  -0.3872041    0.9633883   1.0000000

image.png

根据两个特征向量，可以确定花的种类分布，那么图上每一类species散点落在一个范围内，我们计算这个范围的中心点。

## 4.Graph of Coordinate
fviz_pca_ind(res.pca,
             col.ind = df1$Species, # color by groups
             palette = c("#00AFBB",  "#FC4E07","black"),
             addEllipses = TRUE, # Concentration ellipses
             ellipse.type = "confidence",
             ellipse.level=0.95,
             legend.title = "Groups",
             ggtheme = theme_minimal())

## 5. Coordinate of groups
coord.groups <- res.ind$coord %>%
  as_data_frame() %>%
  select(Dim.1, Dim.2) %>%
  mutate(Species = df1$Species) %>%
  group_by(Species) %>%
  summarise(
    Dim.1 = mean(Dim.1),
    Dim.2 = mean(Dim.2))

coord.groups

# A tibble: 3 x 3
Species     Dim.1  Dim.2
<fct>       <dbl>  <dbl>
  1 setosa      2.10   0.278
2 versicolor -0.570 -0.529
3 virginica  -1.82   0.248

image.png

PCA预测

根据上面建立的PCA！我们用test数据集，测试下，预测分类的准确性！
余下的30个数据， 用predict，放入Sepal.Length Sepal.Width Petal.Length Petal.Width四个变量。然后提取PCA1与PCA2，根据PCA1，PCA2对应的坐标，可以看出，30个点在图上的位置，及对应的区。

### predict
#ind.sup=veteran %>% select(-trt) %>% as.tbl() %>% slice(101:136)
ind.sup.coord <- predict(res.pca, newdata = df2)
ind.sup.coord[, 1:4]

# df1
coord1 = res.ind$coord %>%
  as_data_frame() %>%
  select(Dim.1, Dim.2) %>%
  mutate(Species = df1$Species) %>% set_names("PC1","PC2","Species")

# df2
coord2 =ind.sup.coord[, 1:2] %>% as_data_frame() %>% 
  mutate(Species = df2$Species) 

# plot
coord1 %>% bind_rows(coord2) %>% 
  ggplot()+
  geom_point(aes(PC1,PC2,group=Species,color=Species),shape=0,size=3)+
  geom_point(data=coord2,aes(PC1,PC2),fill=0.1)

image.png

获取PCA各个参数

library(factoextra)
# Eigenvalues
eig.val <- get_eigenvalue(res.pca)
eig.val

# Results for Variables
res.var <- get_pca_var(res.pca)
res.var$coord          # Coordinates
res.var$contrib        # Contributions to the PCs
res.var$cos2           # Quality of representation 
# Results for individuals
res.ind <- get_pca_ind(res.pca)
res.ind$coord          # Coordinates
res.ind$contrib        # Contributions to the PCs
res.ind$cos2           # Quality of representation 

未完待续；下一篇将介绍如何确定聚类分区

参考

1. General methods for principal component analysis
2. PCA in R
3. 一文了解R语言数据分析 ----主成分分析