机器学习相关的数学知识

作者: YANWeichuan | 来源:发表于2018-12-06 15:26 被阅读0次

机器学习相关的数学知识
机器学习学习笔记
机器学习中的基本数学知识
机器学习中的基本数学知识
参考资料
机器学习—数学知识点清单
机器学习数学知识
机器学习必备数学知识
机器学习中的基本数学知识
机器学习之数学知识

数学概念	讲解
交叉熵	https://blog.csdn.net/tsyccnh/article/details/79163834
最大似然估计	https://www.matongxue.com/madocs/447.html
贝叶斯定理	https://www.matongxue.com/madocs/279.html
高斯分布	https://www.cnblogs.com/jermmyhsu/p/8251013.html
PCA	https://www.matongxue.com/madocs/1025/

知识点理解：

信息量->熵->相对熵（KL散度）->交叉熵->分类的loss

信息量：I(x0)=−log(p(x0))
熵用来表示所有信息量的期望：
$H(X)=−\sum_{i=1}^{n}p(x_i)log(p(x_i))$
其中，0-1分布问题（二项分布的特例）简化为：
$H(X) =-\sum_{i=1}^n p(x_i)log(p(x_i)) = -p(x)log(p(x))-(1-p(x))log(1-p(x))$
相对熵（KL散度）：相对熵又称KL散度,如果我们对于同一个随机变量 x 有两个单独的概率分布 P(x) 和 Q(x)，我们可以使用 KL 散度（Kullback-Leibler (KL) divergence）来衡量这两个分布的差异。
$D_{KL}(p||q)=\sum_{i=1}^np(x_i)log(\frac{p(x_i)}{q(x_i)})$
交叉熵
$D_{KL}(p||q) = \sum_{i=1}^np(x_i)log(p(x_i))-\sum_{i=1}^np(x_i)log(q(x_i)) = -H(p(x))+[-\sum_{i=1}^np(x_i)log(q(x_i))]$
等式的前一部分恰巧就是p的熵，等式的后一部分，就是交叉熵：
$H(p,q)=-\sum_{i=1}^np(x_i)log(q(x_i))$
分类中的loss
$loss=-\sum_{i=1}^{n}y_ilog(\hat{y_i})$
(y为label， $(y_i)$ 为预测值

标签	人	马	羊
Label	0	1	0
Pred	0.3	0.6	0.1

那么
loss= −(0×log(0.3)+1×log(0.6)+0×log(0.1) = −log(0.6)

最大似然估计

概率：已知硬币的参数，就可以去推测抛硬币的各种情况的可能性，这称为概率
似然：对硬币的参数并不清楚，要通过抛硬币的情况去推测硬币的参数，这称为似然

PCA

方差: $Var(X) = \sum_{i=1}^{n}X_i^2$
样本协方差: $Cov(X, Y) = \sum_{i=1}^{n}X_iY_i$

$Q = \frac{1}{n} P =( \begin{matrix} Var(X) & Conv(X, Y) \\ Conv(X, Y) & Var(y) \\ \end{matrix} )$
$P = U( \begin{matrix} σ_1& 0 \\ 0 & σ_2 \\ \end{matrix} )U^T$
示例：