PCA 随笔

作者: zidea | 来源:发表于2020-10-09 21:04 被阅读0次

PCA 随笔
PCA 随笔
2020-08-25--PCA降维01
PCA降维
PCA
12-机器学习练习与特征工程、评价指标
PCA在R语言中的实现
浅谈PCA降维原理
PCA 的数学原理和可视化效果
PCA

给大家解释一个问题，我们可以基于64×64像素的灰度图像表示通过在图像周围填充 0 来将图片变为 100×100 大小图片，同时对图像进行随机变化(移动和旋转)来得到 100×100=10000维数据空间。然而，在这些图像的数据集中，只有三个自由度的可变性，对应于垂直和水平的平移和旋转。因此，数据点将位于数据空间的一个子空间上，其内在维数为3。

主成分分析(PCA)

降维思想
特征冗余

$D =\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots,(x^{(N)},y^{(N)}) \}$

N 个维度有冗余，如何从 N 个维度中选取 M 个维度 $(M < N)$ ,使识别率最高。
N 个维度 $\{ x_1, x_2, \cdots, x_N \}$ 构造 $\{f_1(x_1,x_2,\cdots,x_N),f_2(x_1,x_2,\cdots,x_N) \cdots,f_m(x_1,x_2,\cdots,x_N) \}$

主成分分析

$Y = AX + b$

$A_{M \times N}$
$X_{N \times 1}$
$b_{N \times 1}$
主成分分析可以看成是一个一层有 M 神经元神经网络。
寻找一个方差最大的方向，并在该方向上投影，

$\begin{aligned} Y = A(X - \overline{X})\\ \overline{X} = E(X) \\ \overline{X} = \frac{1}{p} \sum_{i=1}^p X_i \end{aligned}$

$A = \begin{bmatrix} a_{1}\\ a_{2}\\ \vdots\\ a_{M} \end{bmatrix}$

$a_i$ 代表一个投影方向

$Y^{(i)} = \begin{bmatrix} a_1(X^{(i)} - \overline{X})\\ a_2(X^{(i)} - \overline{X})\\ \vdots\\ a_m(X^{(i)} - \overline{X})\\ \end{bmatrix} = \begin{bmatrix} y_1^{(i)}\\ y_2^{(i)}\\ \vdots\\ y_m^{(i)} \end{bmatrix}$

最大化 $\sum_{i=1}^p (y_1^{(i)} - \overline{y}_1^{(i)})^2$

$\begin{aligned} \overline{y}_1^{(i)} = \frac{1}{p} \sum_{i=1}^p y_1^{(i)}\\ = \frac{1}{p} \sum_{i=1}^p a_1(X^{(i)} - \overline{X})\\ = \frac{a_1}{p} \sum_{i=1}^p p X^{(i)} - p \overline{X} \end{aligned}$

PCA 随笔
给大家解释一个问题，我们可以基于64×64像素的灰度图像表示通过在图像周围填充 0 来将图片变为 100×100 ...
PCA 随笔
在今天硬件条件下，我们无需考虑存储成本，大量高维数据提供机器学习再次崛起的条件，同时维度泛滥也给我们带来困惑。当然...
2020-08-25--PCA降维01
主要内容 PCA简介使用梯度上升法解决PCA问题 1.PCA简介 PCA（Principal Component...
PCA降维
参考：如何理解主元分析（PCA）？PCA的数学原理转自：python实现PCA ★ PCA思路：我们的初始矩阵为...
PCA
PCA PCA KPCA 代码详见：https://github.com/AresAnt/ML-DL PCA： P...
12-机器学习练习与特征工程、评价指标
一.使用PCA识别手写数字 PCA：Principal Component Analysis（主成分分析）PCA通...
PCA在R语言中的实现
PCA 简介 PCA（Principal Component Analysis），即主成分分析。PCA是一种研究数...
浅谈PCA降维原理
PCA是什么 PCA（Principal Component Analysis）是一种常用的数据分析方法PCA通过...
PCA 的数学原理和可视化效果
本文结构：什么是 PCA 数学原理可视化效果 1. 什么是 PCA PCA (principal compon...
PCA
PCA降维一、算法原理降维算法还原算法二、算法实现三、scikit-learn PCA 四、PCA降噪 ...