美文网首页生信算法流程
PCA的推导与求解(一)

PCA的推导与求解(一)

作者: 生信编程日常 | 来源:发表于2020-10-19 21:47 被阅读0次

主成分分析(Principal Component Analysis, PCA),是一种非监督机器学习算法,主要应用于数据的降维。另外,还可以应用于可视化、去噪等方面。

如下图所示,对于横纵轴的两个特征,关键是怎样找到到一个轴,使得样本空间的所有点映射到这个轴后,方差最大(各个点差别最大)。

主成分分析的步骤为:

  1. 对所有的样本点进行demean处理(使得样本的均值为0)
  2. 我们项要求一个轴的方向 w = (w1, w2)
  3. 使得所有的样本映射到w以后,有:

    最大。

由于之前进行了demean处理,那么\bar{X}_{project} 为0,上式相当于:

假设我们的方向向量为w(w1, w2), 样本点X^\left(i\right)\left(X_1^\left(i\right), X_2^\left(i\right)\right),则映射到该方向上的(即求解的)为\left(X_{pr1}^\left(i\right), X_{pr2}^\left(i\right)\right)

所以最上是要求:



最大。

在N维向量中也就是:


这其实就是一个目标函数的最优化问题,可以用梯度上升法求解。

以上是https://coding.imooc.com/learn/list/169.html [python3入门机器学习]课程做的笔记。

相关文章

  • PCA的推导与求解(一)

    主成分分析(Principal Component Analysis, PCA),是一种非监督机器学习算法,主要应...

  • PCA的推导与求解(二)

    我们知道在PCA中是最终要求w,使得以下目标函数最大。: 它其实存在数学解的,在sklearn中也是求得的数学解。...

  • PCA的推导与求解(三)— PCA的作用

    使用PCA主要有三个作用:1). 大大节省后续运行机器学习的时间;2). 对数据可视化;3). 降噪。 以下将用s...

  • PCA算法推导

    一、PCA降维 1.PCA简介 PCA(主成分分析)是一种数据降维的方法,即用较少特征地数据表达较多特征地数据(数...

  • PCA算法推导

    PCA理解与应用。 Motivation PCA与Factor analysis非常相似,都是主要用于reduct...

  • PCA-Statistics is the new sexy!!

    Shelork Holmes里的一句台词是,Brainy is the new sexy;学了PCA的推导后,我觉...

  • PCA算法的详细推导

    我给出了该算法在二维情况的详细推导,每一步都有理论依据,而且二维情况下的推导都可以用平面的点集表示出来,很容易理解...

  • (九) 概率PCA推导&&核概率PCA

    1.概率PCA建模  概率PCA(Probability Principle Component Analysis...

  • SVD奇异值分解数学原理

    Welcome To My Blog 推导完PCA再来看看SVD 概述 奇异值分解(singular value...

  • 数值微分的算法

    本章涉及知识点1、求解函数导数存在的问题2、泰勒展开式的推导3、幂级数展开求解数值导数4、案例演示 一、求解函数导...

网友评论

    本文标题:PCA的推导与求解(一)

    本文链接:https://www.haomeiwen.com/subject/comlmktx.html