美文网首页
Data Science with R in 4 Weeks -

Data Science with R in 4 Weeks -

作者: 慢思考快思考 | 来源:发表于2016-01-17 22:48 被阅读129次

    Dimension Reduction -  PCA(Principle Component Analysis) as an example

    我们经常会听到这样的说法:说明理由的时候,最好不要超过3~4个,否则别人记不住;希望消费者记住你的产品的时候,最好强调2~3个卖点,再多了,消费者记不住,也不关心。这就是降维技术在生活中最典型的应用——如果你有多个理由,多个信息,要把它们浓缩成最重要的几点,以便于别人理解和记忆。

    商业中也经常遇到这样的问题,像前面提到过的欧洲国家蛋白质摄入渠道,福特汽车的主要卖点,都有超过3个以上的维度。事实上,我们发现,一旦超过了3个,消费者或听众是很难理解的。

    再比如,一个班级的学生,每个人都参加文学、数学、几何、写作、历史、生物、物理、经济学、大众传媒这9门课的考试,每个人的成绩都是0~100之间的一个分值。那么,根据考试成绩,这些学生应该如何分组呢?一种方法就是按照我们前面讲过的 cluster analysis的方法,将9门考试看做9个维度,然后进行分组分析,问题是,即便我们得到了不同的分组,我们也可能解释不同分组的区别。

    如果我们能将数据降维呢?比如,我们将9个维度降低成2个维度 —— Verbal 和quantitative,也就是语言能力和数理能力。按照这两个维度,我们可以重新对学生进行分组,得到的结果,会非常易于解释。

    PCA(Principle Component Analysis) 就是这样一种技术。它在很多方面都有应用。

    例子:

    我们用R自带的一个dataset做例子,这个dataset是33名运动员 奥林匹克10项全能的比赛数据:

    > library(ade4)

    > data(olympic)

    > attach(olympic)

    做PCA分析

    > pca.olympic = dudi.pca(olympic$tab,scale=F,scannf=F,nf=2)

    > scatter(pca.olympic)

    可以看到,最长的两个轴,一个是1500,另一个javelin throw.

    但因为我们没有对数据进行标准化,所以,我们这次采用standardize data。

    > pca.olympic = dudi.pca(olympic$tab,scale=T,scannf=F,nf=2)

    > scatter(pca.olympic)

    坐标轴选择之后(如图中粉色的新的坐标轴),我们看到第一象限的 正坐标轴主要和跑步有关,纵坐标主要和田径有关。

    > s.label(pca.olympic$co, boxes=F)

    现在,我们能较好的解释10项全能的维度了。主要衡量三个指标——runnnig, jumping, athletic.

    按照这三个指标,我们可以重新对运动员的成绩形成cluster analysis。看那些运动员是running 能力比较强,那些事jumping能力比较强等等。

    ( PS: 这么解读数据是不正确的,只是直观上看上去,数据好像是这样分布的。 Dimension 1 只能表示一个指标,dimension 2 也只能表示一个指标。例如,jumping和running分布在dimension 1的两端,这说明dimension 1 可能解释的是运动员的综合能力,运动的灵活性等。此外,jumping 和running 负相关,如果跑得越快,jump的越高)

    另一个例子,采用FactoMineR  package 的 dataset decathlon. 数据几乎是一样的,但是PCA的R 函数不一样。

    install.packages(FactoMineR)

    library(FactoMineR)

    > data(decathlon)

    > head(decathlon)

    在第一个例子中,我们让 nf =2。但是,进行PCA分析之前,我们怎么知道应该有多少个components呢?FactoMineR 提供了一个函数,可以用来估计最佳的 dimension。

    estim_ncp并不是总能给出唯一的答案。所以,使用的时候最好能够做cross reference check。

    我们使用3个component的方案。

    res.pca1 = PCA(decathlon[, 1:10], scale.unit = TRUE, ncp = 3, graph = TRUE)

    plot(res.pca1)

    我们发现,第1,2两个dimension合起来能够解释dataset里面 50%左右的信息

    Variables factor map 解释各个vector之间的相关性。90度表示没有关系,0度,100%正相关,180度,100%负相关。这里,我们可以注意到, 100m, 110m hurdle和long jump是负相关的,而discus,short put和long jump几乎不相关。仔细想一下,这样的结果是有道理的:首先,铅球(shot put)和铁饼(discus)的成绩和跳远的成绩应该不相关,毕竟,一个是力量型的运动,另一个是跳跃型的运动; 其次,100m,110m 栏和跳远的成绩负相关,100m的成绩越好(数值越小),跳远的成绩越好(数值越大)。

    我们旋转坐标轴,让 100m和long jump 位于dimension 1 上,让 discus 位于dim 2上。

    Dataset 里面的col 11和12,提供了定量的辅助信息,在做PCA的时候,我们可以把这些信息加入到里面:

    > res.pca2 = PCA(decathlon[, 1:12], scale.unit = TRUE, ncp = 3, quanti.sup = c(11:12), graph = TRUE)

    我们发现,rank和points和dim 1 高度的相关。这可能说明,dim 1 解释的是(主要表明)运动员的总体表现。dim2 和shot put,discuss 正相关,这可能说明,dim 2 解释的是(主要表明)运动员的力量方面的表现。

    定性的辅助信息也可以加入:

    res.pca3 = PCA(decathlon, scale.unit = TRUE, ncp = 3, quanti.sup = c(11:12), quali.sup = 13, graph = TRUE)

    我们也可以把参加olympic的运动员用其他颜色标注出来,重新画图

    plot.PCA(res.pca3, axes = c(1, 2), choix = "ind", habillage = 13)

    解读图表和数据

    (1)在运动员的总体表现上(dim1), karpov是最佳的,uldal是最差的。

    (2)总体上,我们发现参加olympic的运动员比参加decathlon的运动员综合表现要好(why?可能是因为竞争比较激烈,他们的训练强度也比较高)

    (3)casarsa在力量型运动中表现很好,但综合成绩比较差; Drews 综合成绩一般,力量型运动表现非常差。

    PCA有很多应用场合,后面我们会介绍更多的例子。

    Reference

    http://web.stanford.edu/class/stats366/pca.html

    http://factominer.free.fr/classical-methods/principal-components-analysis.html

    http://gastonsanchez.com/how-to/2012/06/17/PCA-in-R/

    http://www.statistik.tuwien.ac.at/public/filz/students/seminar/ws1011/hoffmann_ausarbeitung.pdf

    http://planspace.org/2013/02/03/pca-3d-visualization-and-clustering-in-r/

    相关文章

      网友评论

          本文标题:Data Science with R in 4 Weeks -

          本文链接:https://www.haomeiwen.com/subject/qeyhkttx.html