4.4 Linear Discriminant Analysis

LDA由下面公式推导出来
$f_{k}(x) \equiv \operatorname{Pr}(X=x \mid Y=k)$

$k$ ： $Y$ 有几种类型
$f_{k}(x)$ ：当 $y=k$ 时， $X$ 是当前 observation 的概率
可以预见，对于一个 observation ，当 $Y=k$ 时 $X\approx x$ ， $f_{k}(x)$ 值就会高，相反就是低。

对 $f_{k}(x)$ 适用 Bayesian 公式得到

$\operatorname{Pr}(Y=k \mid X=x)=\frac{\pi_{k} f_{k}(x)}{\sum_{l=1}^{K} \pi_{l} f_{l}(x)}$

$P(X=x) = \sum_{l=1}^{K}P(X=x|Y=l)P(Y=l) = \sum_{l=1}^{K} \pi_{l} f_{l}(x)$

LDA 要求 Feature 正态分布，而且方差相同（太苛刻）

image.png

4.5 A Comparison of Classification Methods

比较四种Classification 方法

Logistic Regression 和 LDA 很像

Linear Discriminate Analysis
$\log \left(\frac{p_{1}(x)}{1-p_{1}(x)}\right)=\log \left(\frac{p_{1}(x)}{p_{2}(x)}\right)=c_{0}+c_{1} x$
$c_{0}, c_{1}$ 来自于正态分布的均值，方差
Logistic Regression
$\log \left(\frac{p_{1}}{1-p_{1}}\right)=\beta_{0}+\beta_{1} x$
$\beta_{0}, \beta_{1}$ 来自于极大似然估计
LDA 的假设所有 feture 都是正态分布，而且方差相同。如果恰巧如此， LDA表现最好。
Logistic Regression （LR）: 只要求Feature 线性关系，如果feture 不是正态分布，且同方差， LR 比LDA好。
KNN ：对数据完全没要求，当Decision Boundary 及其崎岖的时候，表现最好。
QDA : 允许有 Quadratic 的Decision Boundary，所以可以处理一定程度上的非线性关系。适应领域介于 LDA 和 KNN 之间（完全线性与完全非线性之间）。