18课 SVM——线性可分SVM原理

特征向量为 n 维，指的仅是向量数，而不包含标签或者结果值。
线性可分：

最佳超平面：最大间隔超平面

线性可分支持向量机

线性可分支持向量机就是：以找出线性可分的样本在特征空间中的最大间隔超平面为学习目的的分类模型。
这两个超平面互相平行，它们范围内的区域称为“间隔”，最大间隔超平面位于这两个辅助超平面正中的位置与它们平行的超平面——图中绿线为最大间隔超平面。

设 x=(x1,x2)，w=(−2sd,2d)，b=1−2t1d，则这三个超平面可以分别表示为：

蓝线：wx+b=1
红线：wx+b=−1
绿线（最大分割超平面）：wx+b=0
求最大分割超平面问题其实是一个约束条件下的最优化问题，我们要的是：
min(||w||22)
s.t.1−yi(wxi+b)≤0，i=1，2，…,m
这就是支持向量机的学习目标，其中 min(||w||22) 是目标函数，我们要对它进行最优化。
是一个有约束条件的最优化问题。

19课 SVM——直观理解拉格朗日乘子法

拉格朗日乘子法

等式约束条件
此处我们需要用到一个概念——函数的梯度：表示该函数在某点处的方向导数，方向导数是某个多维函数上的点沿每个维度分别求导后，再组合而成的向量。
我们知道，一个函数的梯度与它的等高线垂直。

拉格朗日函数也可以通过求导变化成约束条件本身。
于是，原本有约束的优化问题，就可以转化为对拉格朗日函数的无约束优化问题了。