SVM 中的核函数随笔

作者: zidea | 来源:发表于2020-09-25 22:27 被阅读0次

SVM 中的核函数随笔
072 FM&FFM
sklearn中随机测试数据：sklearn包中SVM算法库的使
机器学习小组第十周打卡
超详细白板推导：从模型和优化 2 个角度详解 SVM 核函数
LR与SVM
Polynomial Kernel
2018-12-16
Python篇—机器学习
10 SVM - 核函数

SVM 中的核函数

找到一个曲面，开拓方法可能性，有一个合理化解决途径。其他方法想法是去找不是直线的线，然后，vapnik 是对于这样问题，还是找直线去解决这个问题，只不过去一个高维空间找一个分割面来去

$X \,map \,to\, \phi(X)$
$D = \{(0,0),(0,1),(1,0),(1,1)\}$

$\phi(a,b) = (a,b,a^2,b^2,ab)$

$\begin{aligned} X_1 = (0,0,0,0,0)\\ X_2 = (0,1,0,1,0)\\ X_3 = (1,0,1,0,0)\\ X_4 = (1,1,1,1,1)\\ \end{aligned}$

$para = (-1,-1,-1,-1,6)$
$\begin{aligned} W^T\phi(X_1) + b =1 \end{aligned}$

最小化 $\frac{1}{2}||W||^2 + C\sum_{i=1}^N \epsilon_i$ 其中 $\epsilon_i$ 是松弛变量
限制条件
$\begin{cases} y^{i}(W^T \phi(x^i) + b) \ge 1 - \epsilon_i\\ \epsilon_i \ge 0 \end{cases}$

W 是与 X 保持相同维度，
把一些点放到特征空间里面去，随机对这些点进行标注分类，这些点维度越高空间越容易被分开。那图片分类为例

现在我们来看如何选择 $\phi(X)$ ，可以是无限维也可以是无限维，但是无限维效果要好，但是 W 维度需要与 X 维度一致，所以这样问题就无法解决了。

可以不知道无限维映射 $\phi(X)$ 的显式表达，只要知道一个核函数(kernel function)

$K(X_1,X_2) = \phi(X_1)^T\phi(X_2)$

这里优化式子仍然可解
$\phi(X_1)$ 与 $\phi(X_2)$ 无限维度向量的内积

常用核函数

$K(X_1,X_2) = e^{-\frac{||X_1 - X_2||^2}{2 \sigma^2}} = \phi(X_1)^T\phi(X_2)$
$K(X_1,X_2) = (X_1^TX_2 + 1)^d$ 其中 d 是多项式的阶数，这里核函数是有限，d 维度是有限核函数是有限的

优化理论

-《Convex optimization》

原问题(Prime Problem)

最小化 $f(w)$
限制条件
- $g_i(w)\le 0 (i=1-K)$
- $h_i(w) = 0 (i=1-M)$

对偶问题(Dual Problem)

定义
$\begin{aligned} L(w,\alpha,\beta) = f(w) + \sum_{i}^K \alpha_i g_i(w) + \sum_{i=1}^M \beta_i h_i(w)\\ =f(w) + \alpha^Tg(w) + \beta^Th(w) \end{aligned}$

$\begin{aligned} g(w) = \begin{bmatrix} g_1(w) & g_2(w) & \cdots & g_k(w) \end{bmatrix}^T\\ h(w) = \begin{bmatrix} h_1(w) & h_2(w) & \cdots & h_m(w) \end{bmatrix}^T \end{aligned}$

对偶问题定义

最大化 $f(\alpha,\beta) = \inf[L(w,\alpha,\beta)]$
限制条件 $\alpha_i \ge 0 (i=1-K)$

在限制 $\alpha,\beta$ ,然后遍历所有 w 来求最小值，

原问题与对偶问题

定理：如果

SVM 中的核函数随笔
SVM 中的核函数找到一个曲面，开拓方法可能性，有一个合理化解决途径。其他方法想法是去找不是直线的线，然后，va...
072 FM&FFM
FM和SVM多项式核差异 SVM多项式核函数上式中可以看出多项式核起到对特征交叉的作用，但是当样本中存在大量的稀...
sklearn中随机测试数据：sklearn包中SVM算法库的使
目录 SVM相关知识点回顾1.1. SVM与SVR1.2. 核函数sklearn中SVM相关库的简介2.1. 分类...
机器学习小组第十周打卡
学习目标知识点描述：致敬真神：支持向量机学习目标： SVM算法原理及数学推导 SVM算法中的核函数 SVM算法...
超详细白板推导：从模型和优化 2 个角度详解 SVM 核函数
在 SVM 白板推导| 由最大间隔化目标演化的损失函数推导过程中白板手推了 SVM 的原理，并介绍了硬间隔核函数...
LR与SVM
LR 最大化似然函数：决策边界：核函数：，实际中LR不采用核函数方法，因为SVM只依赖于支持向量，而LR考虑...
Polynomial Kernel
核函数实现转换 + 内积首先采用线性核配合原始SVM；然后考虑对偶配合各种核函数
2018-12-16
svm糖尿病预测项目描述：基于python的sklearn库实现用svm预测糖尿病患者，使用rbf核函数。svm...
Python篇—机器学习
1.逻辑回归逻辑回归与最大似然估计推导 2.支持向量机SVM 模型介绍及核函数sklearn中SVM参数 3.决...
10 SVM - 核函数
09 SVM - 线性不可分模型十一、核函数初识假设：函数Ф是一个从低维特征空间到高维特征空间的一个映射，那...