机器学习课程中的问题与资料汇总

作者: 倏尔苏 | 来源:发表于2020-07-05 22:41 被阅读0次

在学习Andrew Ng《Machine Learning》课程时，遇到了一些问题和不了解的东西，在此记录下来，以备后续查看。

lesson 2 线性回归与梯度下降

1.为什么梯度反方向是局部下降最快的方向？

（直观理解）梯度的定义就是在一已知点上函数变化最快的方向。而数学家们证明，当函数中每一个变量都沿着这个变量的偏导数方向变化时，函数整体变化最快。
参考：https://zhuanlan.zhihu.com/p/24913912
https://www.zhihu.com/question/265021971/answer/288270304

lesson 3 欠拟合与过拟合、带权重线性回归、logistics回归

1. KD tree

https://zhuanlan.zhihu.com/p/45346117

lesson 5 生成学习算法

1. 高斯判别分析的推导过程

https://zhuanlan.zhihu.com/p/39318156

lesson 7 最优间隔分类器问题

1. 优化方法

带约束的梯度下降法
https://www.cnblogs.com/wuliytTaotao/p/11077353.html
最速下降法
https://zhuanlan.zhihu.com/p/32709034
梯度下降法和最速下降法的区别
https://blog.csdn.net/Timingspace/article/details/50963564

2. KKT dual complementarity condition的解释

https://zhuanlan.zhihu.com/p/38163970

lesson 8 顺序最小优化算法

1. 软间隔SVM的KKT条件：

$\left\{ \begin{array}{rl} \alpha_i \ge0, \quad r_i \ge 0\\ y^{(i)} (\omega^T x^{(i)}+b) -1 +\xi_i \ge 0 \\ \alpha_i[(y^{(i)} (\omega^T x^{(i)}+b) -1 +\xi_i ] = 0 \\ \xi_i \ge 0, \quad r_i \xi_i =0 \end{array} \right.$
对于任意训练样本 $(x^{(i)},y^{(i)})$ ，总有 $\alpha_i = 0$ 或者 $(y^{(i)} (\omega^T x^{(i)}+b)= 1 - \xi_i$ 。若 $\alpha_i = 0$ ，则样本对于计算 $\omega^T x+b$ 不会有任何影响；若 $\alpha_i > 0$ ，则必有 $(y^{(i)} (\omega^T x^{(i)}+b)= 1 - \xi_i$ ，即样本是支持向量：由 $C=\alpha_i + r_i$ （令拉格朗日函数对 $\xi_i$ 的偏导为零可得）可知，若 $\alpha <C$ ，则 $r_i>0$ ，进而有 $\xi_i=0$ ，即该样本恰在最大间隔的边界上；若 $\alpha =C$ ，则有 $r_i=0$ ，此时若 $\xi_i \le 1$ 则该样本落在最大间隔内部，若 $\xi_i > 1$ 则该样本被错误分类。(西瓜书 Chap.6.4)