机器学习day11降维

作者: rivrui | 来源:发表于2020-08-20 15:51 被阅读0次

降维

用一个低维度的向量表示原来高维度的特征，避免维度灾难。

降维方法

主成分分析
线性判别分析
等距映射
局部线性嵌入
拉普拉斯特征映射
局部保留投影

PCA最大方差理论

原始数据高维向量包含冗余与噪声。主成分分析(Principal Components Analysis,PCA)是最经典的降维方法，具有线性、非监督、全局等特点。
PCA需要定义主成分，设计提取主成分。
举个例子
如果在三维空间里面，一系列数据点过一个平面，如果我们使用xyz来表示，就需要用到三个维度。而如果我们将其放在一个平面，使用xy来表示，那么就只有两个维度，而且数据也不会有任何的丢失，这样，我们就完成了从降维，从三维到二维。
对于给定的一组数据 $\{v_1,v_2,...,v_n\}$ ，其中所有向量均为列向量，中心化后表示为 $\{x_1,x_2,...,x_n\}=\{v_1-\mu,v_2-\mu,...,v_n-\mu\}$ ，其中 $\mu=\frac{1}{n}\sum_{i=1}^nv_i$ 。

PCA的求解方法。

对样本数据进行中心化处理。
求样本协方差矩阵。
对协方差矩阵进行特征值分解，将特征值从大到小排列。
取特征值前d大对应的特征向量 $ω_1,ω_2,...,ω_d$ ，通过以下映射将n维样本映射到d维

网友评论

本文标题：机器学习day11降维

本文链接：https://www.haomeiwen.com/subject/wmtejktx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！