机器学习day12线性判别分析

作者: rivrui | 来源:发表于2020-08-21 21:07 被阅读0次

机器学习day12线性判别分析
机器学习之逻辑回归(2)
Spark 分布式实现线性判别分析（二分类问题）
LDA和PCA降维总结
机器学习新手必学十大算法指南
机器学习-线性判别分析LDA
LDA线性判别分析与PCA降维的区别
机器学习入门——线性模型（2）线性判别分析
经典机器学习系列之【线性判别分析LDA】
PCA与LDA比较

线性判别分析

线性判别分析（Linear Discriminant Analysis，LDA）是一种监督学习算法，常常用于数据降维。
LDA是为分类问题服务的，因此需要先找到一个投影方向 $\omega$ ，使得投影后的样本尽可能按照原始类别分开。
简单的二分类问题，存在两个类别的样本， $C_1和C_2$ 。两个类别的均值分别为 $\mu_1=\frac{1}{N_1}\sum_{x\in C_1}x，\mu_2=\frac{1}{N_2}\sum_{x\in C_2}x$
我们则希望投影之后，尽可能把这两个数据集分开，即在投影上距离越大越好。距离表示：
$D(C_1,C_2)=||\widetilde{\mu}_1-\widetilde{\mu}_2||_2^2$
其中 $\widetilde{\mu}_1，\widetilde{\mu}_2$ 表示两类的中心在 $\omega$ 方向上的投影向量， $\widetilde{\mu}_1=\omega^T\mu_1，\widetilde{\mu}_2=\omega^T\mu_2$ 。需要优化以下问题

$max||\omega^T(\mu_1-\mu_2)||_2^2\\s.t. \omega^T\omega=1$
我们需要找到尽可能大的类间距离投影方式，但是又同时使得类内方差最小。

因此有

其中 $\omega$ 为单位向量， $D_1，D_2$ 分别表示两类投影后的方差
$D_1=\sum_{x\in C_1}(\omega^Tx-\omega^T\mu_1)=\\\sum_{x\in C_1}\omega^T(x-\mu_1)(x-\mu_1)^T\omega,\\D_2=\sum_{x\in C_2}\omega^T(x-\mu_2)(x-\mu_2)^T\omega$
$J(\omega)=\frac{\omega^T(\mu_1-\mu_2)(\mu_1-\mu_2)^T\omega}{\sum_{x\in C_i}\omega^T(x-\mu_i)(x-\mu_i)^T\omega}$
然后定义类间散度矩阵 $S_B=(\mu_1-\mu_2)(\mu_1-\mu_2)^T$ ，类内散度矩阵 $S_W=\sum_{x\in C_i}(x-\mu_i)(x-\mu_i)^T$
化简得
$J(\omega)=\frac{\omega^TS_B\omega}{\omega^TS_W\omega}$
$\frac{\partial J(\omega)}{\partial \omega}=\frac{(\frac{\partial \omega^TS_B\omega}{\partial \omega}\omega^TS_W\omega-\frac{\partial \omega^TS_W\omega}{\partial \omega}\omega^TS_B\omega)}{(\omega^TS_W\omega)^2}=0$
$(\omega^TS_W\omega)S_B\omega=(\omega^TS_B\omega)S_W\omega$
一般二分类， $\omega^TS_W\omega$ 和 $\omega^TS_B\omega$ 是两个数，令 $\lambda=J(\omega)=\frac{\omega^TS_B\omega}{\omega^TS_W\omega}$
$S_B\omega=\lambda S_W\omega$
$S_W^{-1}S_B\omega=\lambda \omega$
从最大化类间距离和最小化类内距离出发，拥有较好对噪声的鲁棒性，模型也很简单。

机器学习day12线性判别分析
线性判别分析线性判别分析（Linear Discriminant Analysis，LDA）是一种监督学习算法，...
机器学习之逻辑回归(2)
接机器学习之逻辑回归(1)，尝试判别分析和多元自适应回归样条方法对数据集的预测能力。线性判别分析即LDA，可通过M...
Spark 分布式实现线性判别分析（二分类问题）
Spark 分布式实现线性判别分析（二分类问题）线性判别分析（LDA）线性判别分析(linear discri...
LDA和PCA降维总结
线性判别分析（LDA） LDA思想总结线性判别分析（Linear Discriminant Analys...
机器学习新手必学十大算法指南
摘要：本文为机器学习新手介绍了十种必备算法：线性回归、逻辑回归、线性判别分析、分类和回归树、朴素贝叶斯、K-近邻算...
机器学习-线性判别分析LDA
判别分析方法是对后验概率进行估计的判别模型方法。如果样本属于某个类的条件概率密度符合高斯分布，对于贝叶斯分类器[h...
LDA线性判别分析与PCA降维的区别
LDA线性判别分析线性判别分析(Linear Discriminant Analysis，LDA)是一种有监督学...
机器学习入门——线性模型（2）线性判别分析
线性判别分析（简称LDA），最早由Fisher提出，也叫Fisher判别分析。 LDA 的思想非常朴素: 给定训练...
经典机器学习系列之【线性判别分析LDA】
线性判别分析，英文名称Linear Discriminant Analysis(LDA)是一种经典的线性学习方...
PCA与LDA比较
本文用于理解机器学习中常见的两种降维方法，主成分分析和线性判别分析，并对两者进行简单的对比。基本目录如下：什么...