pca理解

作者: 巡山的小猴子 | 来源:发表于2019-07-25 10:28 被阅读0次

http://blog.codinglabs.org/articles/pca-tutorial.html
看到一篇比较好的将pca的文章,将原理讲得很清楚,但是理解还是花了不少时间,现在将理解过程记录下来

整体思路

   原始特征矩阵     

为什么将方差最大的方向作为主要特征

  可以将一个特征上的很多样本数据,看成是一个随机变量,方差就反映了这个随机变量,相对期望的离散程度,如果方差小,说明,大多数样本都在均值附近,那么在使用所有特征来对样本进行分类时,这个特征的贡献非常小(因为在所有样本中,这个特征都差不多,没有什么区分度),所以就可以忽略掉这个特征,起到将维的作用。

既然是想要去掉有相关性的特征,为什么不能直接算原始特征矩阵的协方差矩阵,然后直接将协方差排序,然后找打大的协方差对应的两个特征,然后去掉一个呢

  这个我理解是,在原始特征矩阵中,可能各个特征直接没有那么大的相关性,直接去掉一个特征,数据损失可能就太大了,只有将原始矩阵映射到一个完全正交的新矩阵后,这些组合特征的方差比较小,才反映出一些原始特征的存在一定程度的相关性,换句话说,正式因为某些原始特征的相关性,才使某个变换后的组合特征方差很小,数值都落到了相对集中的区域。

推导

相关文章

  • PCA降维

    参考:如何理解主元分析(PCA)?PCA的数学原理转自:python实现PCA ★ PCA思路: 我们的初始矩阵为...

  • pca理解

    http://blog.codinglabs.org/articles/pca-tutorial.html看到一篇...

  • PCA算法推导

    PCA理解与应用。 Motivation PCA与Factor analysis非常相似,都是主要用于reduct...

  • PCA应用--二

    参考:PCA降维算法总结以及matlab实现PCA(个人的一点理解) 一、大致流程 PCA的应用范围:数据压缩或者...

  • 学习记录——汇编(王爽)、PCA分析和矩阵本质、财富自由之路

    主成分分析学习笔记(从矩阵的相似变换到PCA运用) 要理解PCA算法,我们得先理解矩阵的本质,以及矩阵相似变换的本...

  • 数据处理之PCA

    推荐好文PCA的数学原理本文将会用Python来实现PCA,帮助更好的理解 视频地址:https://www.yo...

  • PCA算法的理解

    PCA算法被用来提取数据中主要的特征分量,通常是用来做高纬度的降维使用。PCA的原理涉及到数学中的向量空间和基。 ...

  • PCA和SVD

    以下示例来自这篇神文 同时这有一篇关于SVD分解的理解,个人感觉讲的也很好 PCA算法 总结一下PCA的算法步骤:...

  • 降维算法1_PCA 原理理解

    PCA基本原理 1.引入及理解 What PCA(主成分分析)是采取一种数学降维的方法,找出几个综合变量来代替原来...

  • 2020-08-25--PCA降维01

    主要内容 PCA简介 使用梯度上升法解决PCA问题 1.PCA简介 PCA(Principal Component...

网友评论

      本文标题:pca理解

      本文链接:https://www.haomeiwen.com/subject/btzqgftx.html