[Stay Sharp]线性可分SVM公式--李航《统计学习方法

作者: 三千雨点 | 来源:发表于2018-12-25 23:13 被阅读0次

[Stay Sharp]线性可分SVM公式--李航《统计学习方法
[Stay Sharp]线性支持向量机公式 -- 李航《统计学系
机器学习基础-SVM与感知机
SVM推导与SMO算法
通俗易懂的支持向量机SVM
机器学习入门（十六）：SVM——线性 SVM，间隔由硬到软
11 SVM - SMO - 序列最小优化算法
06 SVM - 线性可分模型算法和案例
[Stay Sharp]SVM基础
10.SVM推导与证明

SVM线性可分支持向量机的最优化问题是：

$\begin{array} { l l } { \min _ { w , b } } & { \frac { 1 } { 2 } \| w \| ^ { 2 } } \\ { \text { s.t. } } & { y _ { i } \left( w \cdot x _ { i } + b \right) - 1 \geqslant 0 , \quad i = 1,2 , \cdots , N } \end{array}$

在数学中的最优化问题中，拉格朗日乘数法（以数学家约瑟夫·拉格朗日命名）是一种寻找多元函数在其变量受到一个或多个条件的约束时的极值的方法。针对以上最优化问题，我们也使用拉格朗日函数进行转换，并引入拉格朗日乘子

$L ( w , b , \alpha ) = \frac { 1 } { 2 } \| w \| ^ { 2 } - \sum _ { i = 1 } ^ { N } \alpha _ { i } y _ { i } \left( w \cdot x _ { i } + b \right) + \sum _ { i = 1 } ^ { N } \alpha _ { i }$
根据对偶性，原始问题的对偶问题是极大极小问题：

$\max _ { \alpha } \min _ { w , b } L ( w , b , \alpha )$
所以我们要
（1）先求 $\min _ { w , b } L ( w , b , \alpha )$ :

将 $L ( w , b , \alpha )$ 对 $w , b$ 求偏导得到：

$\nabla _ { w } L ( w , b , \alpha ) = w - \sum _ { i = 1 } ^ { N } \alpha _ { i } y _ { i } x _ { i } = 0$

$\nabla _ { b } L ( w , b , \alpha ) = \sum _ { i = 1 } ^ { N } \alpha _ { i } y _ { i } = 0$

得到 $w = \sum _ { i = 1 } ^ { N } \alpha _ { i } y _ { i } x _ { i }$ 以及 $\sum _ { i = 1 } ^ { N } \alpha _ { i } y _ { i } = 0$

将结果代入拉格朗日函数得到：

$\min _ { w , b } L ( w , b , \alpha ) = - \frac { 1 } { 2 } \sum _ { i = 1 } ^ { N } \sum _ { j = 1 } ^ { N } \alpha _ { i } \alpha _ { j } y _ { i } y _ { j } \left( x _ { i } \cdot x _ { j } \right) + \sum _ { i = 1 } ^ { N } \alpha _ { i }$

（2）然后再求 $\min _ { w , b } L ( w , b , \alpha )$ 对 $\alpha$ 的极大：

$\begin{array} { c l } { \max _ { \alpha } } & { - \frac { 1 } { 2 } \sum _ { i = 1 } ^ { N } \sum _ { j = 1 } ^ { N } \alpha _ { i } \alpha _ { j } y _ { i } y _ { j } \left( x _ { i } \cdot x _ { j } \right) + \sum _ { i = 1 } ^ { N } \alpha _ { i } } \\ { \text { s.t. } } & { \sum _ { i = 1 } ^ { N } \alpha _ { i } y _ { i } = 0 } \\ { } & { \alpha _ { i } \geqslant 0 , \quad i = 1,2 , \cdots , N } \end{array}$
将此极大转为极小，也就得到来原问题对等价对偶最优化问题：

$\begin{array} { c l } { \min _ { \alpha } } & { \frac { 1 } { 2 } \sum _ { i = 1 } ^ { N } \sum _ { j = 1 } ^ { N } \alpha _ { i } \alpha _ { j } y _ { i } y _ { j } \left( x _ { i } \cdot x _ { j } \right) - \sum _ { i = 1 } ^ { N } \alpha _ { i } } \\ { \text { s.t. } } & { \sum _ { i = 1 } ^ { N } \alpha _ { i } y _ { i } = 0 } \\ { } & { \alpha _ { i } \geqslant 0 , \quad i = 1,2 , \cdots , N } \end{array}$
求得 $\alpha ^ { * }$ 后也就能求得最优化 $w ^ { * } ,\beta ^ { * }$ ，对应的转换公式是：

$w ^ { * } = \sum _ { i = 1 } ^ { N } \alpha _ { i } ^ { * } y _ { i } x _ { i }$

$b ^ { * } = y _ { j } - \sum _ { i = 1 } ^ { N } \alpha _ { i } ^ { * } y _ { i } \left( x _ { i } \cdot x _ { j } \right)$

以上内容来自于李航-《统计学习方法》

[Stay Sharp]线性可分SVM公式--李航《统计学习方法
SVM线性可分支持向量机的最优化问题是：在数学中的最优化问题中，拉格朗日乘数法（以数学家约瑟夫·拉格朗日命名）是...
[Stay Sharp]线性支持向量机公式 -- 李航《统计学系
线性不可分的线性支持向量机的学习问题变成了：以上的解唯一，而的解不唯一，是一个区间。上面学习问题的对偶问题是（...
机器学习基础-SVM与感知机
参考《统计学习方法》李航等 SVM定义 SVM(Support Vector Machine，支持向量机)，是一种...
SVM推导与SMO算法
1、线性可分SVM与硬间隔最大化《统计学习方法》关于SVM的第一节标题如上，其实这个标题的意思是Hard-Mar...
通俗易懂的支持向量机SVM
SVM 的原理和目标几个基本概念线性可分SVM——线性 SVM——非线性 SVM1、线性可分SVM，表示可以用...
机器学习入门（十六）：SVM——线性 SVM，间隔由硬到软
从线性可分 SVM 到线性 SVM 从现实情况引出线性 SVM 线性可分 SVM，这种 SVM 学习的训练数据本身...
11 SVM - SMO - 序列最小优化算法
05 SVM - 支持向量机 - 概念、线性可分06 SVM - 线性可分模型算法和案例07 SVM - 软间隔模...
06 SVM - 线性可分模型算法和案例
05 SVM - 支持向量机 - 概念、线性可分三、线性可分SVM算法流程输入线性可分的m个样本数据{(x1,...
[Stay Sharp]SVM基础
引入场景对于给定的训练样本集, 分类学习最基本的想法便是找到一个划分超平面将训练集中不同类别的样本分开。对于...
10.SVM推导与证明
问题描述（以二维为例）最后得到的式子就是线性可分SVM最后的优化公式