Dimension Reduction -  PCA(Principle Component Analysis) as an example

我们经常会听到这样的说法：说明理由的时候，最好不要超过3~4个，否则别人记不住；希望消费者记住你的产品的时候，最好强调2~3个卖点，再多了，消费者记不住，也不关心。这就是降维技术在生活中最典型的应用——如果你有多个理由，多个信息，要把它们浓缩成最重要的几点，以便于别人理解和记忆。

商业中也经常遇到这样的问题，像前面提到过的欧洲国家蛋白质摄入渠道，福特汽车的主要卖点，都有超过3个以上的维度。事实上，我们发现，一旦超过了3个，消费者或听众是很难理解的。

再比如，一个班级的学生，每个人都参加文学、数学、几何、写作、历史、生物、物理、经济学、大众传媒这9门课的考试，每个人的成绩都是0~100之间的一个分值。那么，根据考试成绩，这些学生应该如何分组呢？一种方法就是按照我们前面讲过的 cluster analysis的方法，将9门考试看做9个维度，然后进行分组分析，问题是，即便我们得到了不同的分组，我们也可能解释不同分组的区别。

如果我们能将数据降维呢？比如，我们将9个维度降低成2个维度 —— Verbal 和quantitative，也就是语言能力和数理能力。按照这两个维度，我们可以重新对学生进行分组，得到的结果，会非常易于解释。

PCA(Principle Component Analysis) 就是这样一种技术。它在很多方面都有应用。

例子：

我们用R自带的一个dataset做例子，这个dataset是33名运动员 奥林匹克10项全能的比赛数据：

> library(ade4)

> data(olympic)

> attach(olympic)

做PCA分析

> pca.olympic = dudi.pca(olympic$tab,scale=F,scannf=F,nf=2)

> scatter(pca.olympic)

可以看到，最长的两个轴，一个是1500，另一个javelin throw.

但因为我们没有对数据进行标准化，所以，我们这次采用standardize data。

> pca.olympic = dudi.pca(olympic$tab,scale=T,scannf=F,nf=2)

> scatter(pca.olympic)

坐标轴选择之后（如图中粉色的新的坐标轴），我们看到第一象限的 正坐标轴主要和跑步有关，纵坐标主要和田径有关。

> s.label(pca.olympic$co, boxes=F)

现在，我们能较好的解释10项全能的维度了。主要衡量三个指标——runnnig, jumping, athletic.

按照这三个指标，我们可以重新对运动员的成绩形成cluster analysis。看那些运动员是running 能力比较强，那些事jumping能力比较强等等。

（ PS： 这么解读数据是不正确的，只是直观上看上去，数据好像是这样分布的。 Dimension 1 只能表示一个指标，dimension 2 也只能表示一个指标。例如，jumping和running分布在dimension 1的两端，这说明dimension 1 可能解释的是运动员的综合能力，运动的灵活性等。此外，jumping 和running 负相关，如果跑得越快，jump的越高）

另一个例子，采用FactoMineR  package 的 dataset decathlon. 数据几乎是一样的，但是PCA的R 函数不一样。

install.packages(FactoMineR)

library(FactoMineR)

> data(decathlon)

> head(decathlon)

在第一个例子中，我们让 nf =2。但是，进行PCA分析之前，我们怎么知道应该有多少个components呢？FactoMineR 提供了一个函数，可以用来估计最佳的 dimension。

estim_ncp并不是总能给出唯一的答案。所以，使用的时候最好能够做cross reference check。

我们使用3个component的方案。

res.pca1 = PCA(decathlon[, 1:10], scale.unit = TRUE, ncp = 3, graph = TRUE)

plot(res.pca1)

我们发现，第1，2两个dimension合起来能够解释dataset里面 50%左右的信息

Variables factor map 解释各个vector之间的相关性。90度表示没有关系，0度，100%正相关，180度，100%负相关。这里，我们可以注意到， 100m, 110m hurdle和long jump是负相关的，而discus，short put和long jump几乎不相关。仔细想一下，这样的结果是有道理的：首先，铅球（shot put）和铁饼（discus）的成绩和跳远的成绩应该不相关，毕竟，一个是力量型的运动，另一个是跳跃型的运动； 其次，100m,110m 栏和跳远的成绩负相关，100m的成绩越好（数值越小），跳远的成绩越好（数值越大）。

我们旋转坐标轴，让 100m和long jump 位于dimension 1 上，让 discus 位于dim 2上。

Dataset 里面的col 11和12，提供了定量的辅助信息，在做PCA的时候，我们可以把这些信息加入到里面：

> res.pca2 = PCA(decathlon[, 1:12], scale.unit = TRUE, ncp = 3, quanti.sup = c(11:12), graph = TRUE)

我们发现，rank和points和dim 1 高度的相关。这可能说明，dim 1 解释的是（主要表明）运动员的总体表现。dim2 和shot put，discuss 正相关，这可能说明，dim 2 解释的是（主要表明）运动员的力量方面的表现。

定性的辅助信息也可以加入：

res.pca3 = PCA(decathlon, scale.unit = TRUE, ncp = 3, quanti.sup = c(11:12), quali.sup = 13, graph = TRUE)

我们也可以把参加olympic的运动员用其他颜色标注出来，重新画图

plot.PCA(res.pca3, axes = c(1, 2), choix = "ind", habillage = 13)

解读图表和数据

（1）在运动员的总体表现上（dim1）， karpov是最佳的，uldal是最差的。

（2）总体上，我们发现参加olympic的运动员比参加decathlon的运动员综合表现要好（why？可能是因为竞争比较激烈，他们的训练强度也比较高）

（3）casarsa在力量型运动中表现很好，但综合成绩比较差； Drews 综合成绩一般，力量型运动表现非常差。

PCA有很多应用场合，后面我们会介绍更多的例子。

Reference

http://web.stanford.edu/class/stats366/pca.html

http://factominer.free.fr/classical-methods/principal-components-analysis.html

http://gastonsanchez.com/how-to/2012/06/17/PCA-in-R/

http://www.statistik.tuwien.ac.at/public/filz/students/seminar/ws1011/hoffmann_ausarbeitung.pdf

http://planspace.org/2013/02/03/pca-3d-visualization-and-clustering-in-r/