SVM 中的核函数随笔

SVM 中的核函数随笔

作者: zidea | 来源:发表于2020-09-25 22:27 被阅读0次

SVM 中的核函数

找到一个曲面，开拓方法可能性，有一个合理化解决途径。其他方法想法是去找不是直线的线，然后，vapnik 是对于这样问题，还是找直线去解决这个问题，只不过去一个高维空间找一个分割面来去

$X \,map \,to\, \phi(X)$
$D = \{(0,0),(0,1),(1,0),(1,1)\}$

$\phi(a,b) = (a,b,a^2,b^2,ab)$

$\begin{aligned} X_1 = (0,0,0,0,0)\\ X_2 = (0,1,0,1,0)\\ X_3 = (1,0,1,0,0)\\ X_4 = (1,1,1,1,1)\\ \end{aligned}$

$para = (-1,-1,-1,-1,6)$
$\begin{aligned} W^T\phi(X_1) + b =1 \end{aligned}$

最小化 $\frac{1}{2}||W||^2 + C\sum_{i=1}^N \epsilon_i$ 其中 $\epsilon_i$ 是松弛变量
限制条件
$\begin{cases} y^{i}(W^T \phi(x^i) + b) \ge 1 - \epsilon_i\\ \epsilon_i \ge 0 \end{cases}$

W 是与 X 保持相同维度，
把一些点放到特征空间里面去，随机对这些点进行标注分类，这些点维度越高空间越容易被分开。那图片分类为例

现在我们来看如何选择 $\phi(X)$ ，可以是无限维也可以是无限维，但是无限维效果要好，但是 W 维度需要与 X 维度一致，所以这样问题就无法解决了。

可以不知道无限维映射 $\phi(X)$ 的显式表达，只要知道一个核函数(kernel function)

$K(X_1,X_2) = \phi(X_1)^T\phi(X_2)$

这里优化式子仍然可解
$\phi(X_1)$ 与 $\phi(X_2)$ 无限维度向量的内积

常用核函数

$K(X_1,X_2) = e^{-\frac{||X_1 - X_2||^2}{2 \sigma^2}} = \phi(X_1)^T\phi(X_2)$
$K(X_1,X_2) = (X_1^TX_2 + 1)^d$ 其中 d 是多项式的阶数，这里核函数是有限，d 维度是有限核函数是有限的

优化理论

-《Convex optimization》

原问题(Prime Problem)

最小化 $f(w)$
限制条件
- $g_i(w)\le 0 (i=1-K)$
- $h_i(w) = 0 (i=1-M)$

对偶问题(Dual Problem)

定义
$\begin{aligned} L(w,\alpha,\beta) = f(w) + \sum_{i}^K \alpha_i g_i(w) + \sum_{i=1}^M \beta_i h_i(w)\\ =f(w) + \alpha^Tg(w) + \beta^Th(w) \end{aligned}$

$\begin{aligned} g(w) = \begin{bmatrix} g_1(w) & g_2(w) & \cdots & g_k(w) \end{bmatrix}^T\\ h(w) = \begin{bmatrix} h_1(w) & h_2(w) & \cdots & h_m(w) \end{bmatrix}^T \end{aligned}$

对偶问题定义

最大化 $f(\alpha,\beta) = \inf[L(w,\alpha,\beta)]$
限制条件 $\alpha_i \ge 0 (i=1-K)$

在限制 $\alpha,\beta$ ,然后遍历所有 w 来求最小值，

原问题与对偶问题

定理：如果

相关文章

网友评论

本文标题：SVM 中的核函数随笔

本文链接：https://www.haomeiwen.com/subject/ozsquktx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

栏目导航

热点阅读

关于我们|服务条款|联系我们|SVM 中的核函数随笔|投稿指南|网站地图|RSS订阅|排版工具|手机版

提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网版权所有

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！