2020机器学习SVM(3)

作者: zidea | 来源:发表于2020-03-31 20:43 被阅读0次

2020机器学习SVM(3)
2020 机器学习之SVM(3)
[机器学习入门] 李宏毅机器学习笔记-28 (Structure
2020机器学习SVM SMO
机器学习SVM，小白也能看得懂 , 从理论到实践！！！
SVM 随笔
机器学习-SVM
机器学习-SVM
机器学习: SVM
总结一点面试问题－－算法工程师（机器学习）

machine_learning.jpg

甜点

生活中有太多束缚我们无法打破，吃的太多无法消化；睡得太少感觉困倦。这一切都是创造时预先设定，有了约束也就是有了边界。

001.png

SVM

线性可分
支持向量到线的距离相等
支持向量距离到线距离越大越好

我们有简单语句描述了 SVM 的特点，我们知道距离就是支持向量到分隔平面距离最大，那么我们先看如何用数学的语言来描述点到平面的距离这件事。先抛出结论，这就是 x 到 $wx + b$ 平面距离表达式这里 w 和 x 都是向量。其中 w 是平面法向量。这里可能有一些知识点大家在大学毕业后就很少接触，这里我们在给大家分享一下什么是法向量以及如何用数学语言描述点平面距离这件事。

$\lambda = \frac{|w \cdot x + b|}{||w||}$

法向量

下面 $ax_1 + bx_2 + c = 0$ 这个函数表示一个平面，在平面上一个 A 和 B 两个点分别用向量 $(a_1,a_1)$ 和 $(b_1,b_2)$ 表示平面上两个点。

$ax_1 + bx_2 + c = 0$
直线 $\vec{AB}$ 可以表示下面
$\begin{bmatrix} a_1\\ a_2 \end{bmatrix} - \begin{bmatrix} b_1\\ b_2 \end{bmatrix} = \vec{AB}$
然后将 $\vec{AB}$ 和向量 $(a,b)$ 做点积可以得到 $a_1a - ab_1 + ba_2 - b_2b$
$\begin{bmatrix} a_1 - b_1 \\ a_2 - b_2 \end{bmatrix} \cdot \begin{bmatrix} a\\ b \end{bmatrix} = a_1a - ab_1 + ba_2 - b_2b$
然后我们通过加一个 c 然后减去 c 主要是为了化简。
$a_1a + a_2b + c -(ab_1 + bb_2 + c)$
因为 A 点 $(a_1,a_2)$ 和 B 点 $(b_1,b_2)$ 都在 $ax_1 + bx_2 + c = 0$ 平面上带入上式得到
$\vec{AB} \begin{bmatrix} a\\ b \\ \end{bmatrix} = 0$

点到直线的距离

其中 $[a,b]^T$ 就是 w ，因为 $vec{AB} w = 0$ 说明 w 与线段 AB 是垂直，说明 w 向量就代表平面法线，然后我们再讨论如何表示点到平面的距离
$\vec{x_0} = \begin{bmatrix} x_1^{0}\\ x_2^{0} \end{bmatrix}$
$\vec{x_0}$ 表示平面外的一个点，而 $\vec{A}$ 表示平面上一个点
$\vec{A} = \begin{bmatrix} a_1\\ a_2 \end{bmatrix}$

$\vec{x_0} - \vec{A} = \begin{bmatrix} x_1^{0} - a_1\\ x_2^{0} - a_2 \end{bmatrix}$

$\vec{x_0} - \vec{A} = \begin{bmatrix} x_1^{0} - a_1\\ x_2^{0} - a_2 \end{bmatrix} \begin{bmatrix} w_1\\ w_2 \end{bmatrix} = \frac{ \left[ w_1x_1^0 + w_2x_2^0 - (w_1a_1 + w_2a_2) \right] }{||w||}$

$\frac{ \left[ w_1x_1^0 + w_2x_2^0 + b - (w_1a_1 + w_2a_2 + b) \right] }{||w||}$
因为 $(a_1,a_2)$ 点在平面 $w_1x_1 + w_2x_2 + b =0$ 上所以 $w_1a_1 + w_2a_2 + b = 0$ 就得到了
$\frac{ w_1x_1^0 + w_2x_2^0 + b }{||w||} = \frac{\vec{w} \vec{x_0} + b}{||w||}$

然后我们在推导一下面式子为什么成立
$wx_0 + b = 1$
我们今天求得分隔平面就是就是下面式子，这个大家应该没有什么疑问吧。
$wx+ b = 0$
$\frac{w}{r} x + \frac{b}{r} = 0$
然后我们同时除以 r 得到函数和原有函数应该是一个同一个函数
$2x_1 + 2x_2 + 2 = 0$

$wx_0 + b = l$
支持向量到分隔平面距离为 l 我们可以通过变换来可以到距离为 1 的等式
$\frac{w}{l}x_0 + \frac{b}{l} = 1$

$w_{new} = \frac{w}{l}$

$\frac{w_{new} \vec{x_0} + b_{new} }{||w_{new}||}$
$w_{new} x + b_{new} = 1$

$\frac{1}{|| w_{new}||}$

最后希望大家关注我们微信公众号

wechat.jpeg

2020机器学习SVM(3)
甜点生活中有太多束缚我们无法打破，吃的太多无法消化；睡得太少感觉困倦。这一切都是创造时预先设定，有了约束也就是有...
2020 机器学习之SVM(3)
上一次我们已经将目标函数和约束条件基本都用数学形式表示出来，今天我们先看一看什么是对偶问题。然后开始通过一些列推导...
[机器学习入门] 李宏毅机器学习笔记-28 (Structure
[机器学习入门] 李宏毅机器学习笔记-28(Structured SVM part 3 ;结构化支持向量机 par...
2020机器学习SVM SMO
甜点坚持是苦的，坚持也是甜点，过程是苦的，回味是甜，这就是为什么苦的东西慢慢体味会有一丝甜味的原因。假设今天能...
机器学习SVM，小白也能看得懂 , 从理论到实践！！！
Blog - 机器学习-SVM 机器学习-SVM-小白也能看得懂演讲•公开课科技bilibili哔哩哔哩 http...
SVM 随笔
前言当下机器学习比较重要 3 中算法，个人都目前为止认为比较重要机器学习算法分别是，深度学习、SVM 和决策树。...
机器学习-SVM
简介：支持向量机（SVM）是一种二分类的监督学习模型，他的基本模型是定义在特征空间上的间隔最大的线性模型。他与感...
机器学习-SVM
基本概念超平面：分类的决策边界，N 维的数据集需要 N-1 维的超平面支持向量：离分隔超平面最近的那些点间隔...
机器学习: SVM
为什么要有 SVM SVM (Support Vector Machine）即支持向量机，主要用于解决数据的分类问...
总结一点面试问题－－算法工程师（机器学习）
BAT机器学习面试系列 1.请简要介绍下SVM。 SVM，全称是support vector machine，中文...