深度学习知识点汇总-机器学习基础（8）

作者: 深度学习模型优化 | 来源:发表于2019-05-11 02:47 被阅读0次

再出发-机器学习
深度学习知识点汇总-机器学习基础（8）
深度学习知识点汇总-机器学习基础（10）
深度学习知识点汇总-机器学习基础（13）
深度学习知识点汇总-机器学习基础（12）
深度学习知识点汇总-机器学习基础（15）
深度学习知识点汇总-机器学习基础（14）
深度学习知识点汇总-机器学习基础（11）
深度学习知识点汇总-机器学习基础（2）
深度学习知识点汇总-机器学习基础（5）

2.8 LDA的算法原理和算法步骤

输入：数据集 $D={(\boldsymbol x_1,\boldsymbol y_1),(\boldsymbol x_2,\boldsymbol y_2),...,(\boldsymbol x_m,\boldsymbol y_m)}$ ，其中样本 $\boldsymbol x_i$ 是 $n$ 维向量， $\boldsymbol y_i \in {0, 1}$ ，降维后的目标维度 $d$ 。

定义以下符号:

$N_j(j=0,1)$ 为第 $j$ 类样本个数；
$X_j(j=0,1)$ 为第 $j$ 类样本的集合；
$u_j(j=0,1)$ 为第 $j$ 类样本的均值向量；
$\boldsymbol \sigma_j(j=0,1)$ 为第 $j$ 类样本的协方差矩阵。

其中
$u_j = \frac{1}{N_j} \sum_{\boldsymbol x\epsilon X_j}\boldsymbol x \\ \boldsymbol \sigma_j = \sum_{\boldsymbol x\epsilon X_j}(\boldsymbol x-u_j)(\boldsymbol x-u_j)^T$

假设投影直线是向量 $\boldsymbol w$ ，对任意样本 $\boldsymbol x_i$ ，它在直线 $w$ 上的投影为 $\boldsymbol w^T x_i$ ，两个类别的中心点 $u_0$ , $u_1$ 在直线 $w$ 的投影分别为 $\boldsymbol w^Tu_0$ 、 $\boldsymbol w^Tu_1$ 。

LDA的目标

类间距离尽量大。两类别的数据中心间的距离 $| \boldsymbol w^Tu_0 - \boldsymbol w^Tu_1 |^2_2$ 尽量大
类内距离尽量小。同类样本投影点的协方差 $\boldsymbol w^T \boldsymbol \sigma_0 \boldsymbol w$ 、 $\boldsymbol w^T \boldsymbol \sigma_1 \boldsymbol w$ 尽量小。

定义类内散度矩阵
$S_w = \boldsymbol \sigma_0 + \boldsymbol \sigma_1 = \sum_{\boldsymbol x\epsilon X_0}(\boldsymbol x-u_0)(\boldsymbol x-u_0)^T + \sum_{\boldsymbol x\epsilon X_1}(\boldsymbol x-u_1)(\boldsymbol x-u_1)^T$

类间散度矩阵 $S_b = (u_0 - u_1)(u_0 - u_1)^T$

据上分析，优化目标为
$\mathop{\arg\max}_\boldsymbol w J(\boldsymbol w) = \frac{| \boldsymbol w^Tu_0 - \boldsymbol w^Tu_1 |^2_2}{\boldsymbol w^T \boldsymbol \sigma_0\boldsymbol w + \boldsymbol w^T \boldsymbol \sigma_1\boldsymbol w} = \frac{\boldsymbol w^T(u_0-u_1)(u_0-u_1)^T\boldsymbol w}{\boldsymbol w^T(\boldsymbol \sigma_0 + \boldsymbol \sigma_1)\boldsymbol w} = \frac{\boldsymbol w^TS_b\boldsymbol w}{\boldsymbol w^TS_w\boldsymbol w}$

根据广义瑞利商的性质，矩阵 $S^{-1}_{w} S_b$ 的最大特征值为 $J(\boldsymbol w)$ 的最大值，矩阵 $S^{-1}_{w} S_b$ 的最大特征值对应的特征向量即为 $\boldsymbol w$ 。

LDA算法降维流程如下：
输入：数据集 $D = { (x_1,y_1),(x_2,y_2), ... ,(x_m,y_m) }$ ，其中样本 $x_i$ 是n维向量， $y_i \in \{C_1, C_2, ..., C_k\}$ ，降维后的目标维度 $d$ 。

输出：降维后的数据集 $\overline{D}$ 。

步骤：

计算类内散度矩阵 $S_w$ 。
计算类间散度矩阵 $S_b$ 。
计算矩阵 $S^{-1}_wS_b$ 。
计算矩阵 $S^{-1}_wS_b$ 的最大的 $d$ 个特征值。
计算 $d$ 个特征值对应的 $d$ 个特征向量，记投影矩阵为 $W$ 。
转化样本集的每个样本，得到新样本 $P_i = W^Tx_i$ 。
输出新样本集 $\overline{D} = { (p_1,y_1),(p_2,y_2),...,(p_m,y_m) }$

LDA是个二分类的降维方法。

再出发-机器学习
机器学习：知识点链接：面试必备 | 机器学习、深度学习面试知识点汇总[https://mp.weixin.qq...
深度学习知识点汇总-机器学习基础（8）
2.8 LDA的算法原理和算法步骤输入：数据集，其中样本是维向量，，降维后的目标维度。定义以下符号: 为...
深度学习知识点汇总-机器学习基础（10）
2.10 主成分分析的思想是什么？主成分分析（PCA）是将高维的数据通过线性变换投影到低维空间，这种变换没有损失...
深度学习知识点汇总-机器学习基础（13）
2.13 模型评估常用指标有哪些？一般情况来说，单一评分标准无法完全评估一个机器学习模型。只用good和bad偏...
深度学习知识点汇总-机器学习基础（12）
2.12 降维的必要性及目的降维的必要性：多重共线性和预测变量之间相互关联。多重共线性会导致解空间的不稳定，从...
深度学习知识点汇总-机器学习基础（15）
2.15 交叉验证和k折交叉验证交叉验证是为了提高模型的泛华能力。方法主要有：留一交叉验证 k折交叉验证这...
深度学习知识点汇总-机器学习基础（14）
2.14 欠拟合与过拟合欠拟合：顾名思义，就是没有拟合好，要么没有很好的收敛，要么模型容量太小，无法收敛到一个满...
深度学习知识点汇总-机器学习基础（11）
2.11 PCA的算法原理和流程基于最小投影距离为评价指标推理：假设数据集是个维数据，，也就是默认为行列的矩阵...
深度学习知识点汇总-机器学习基础（2）
2.2 什么是弱监督学习？弱监督学习可以看做是有多个标记的数据集合。子集合可以是空集、单个元素、或包含多种情况（...
深度学习知识点汇总-机器学习基础（5）
2.5 分类算法的评估指标有哪些？上图中术语解释： TP（True positives）。表示被正确地划分为正...