核函数支持向量机（kernel SVM）-原理

1、SVM的局限性

SVM只适用于线性可分的数据.PNG SVM不适用于这类模型.PNG SVM可以将这类数据准确分类.PNG

SVM只能对线性可分的数进行分类，这张线性模型在一维空间是一个点，在二维空间是一条直线，在三维空间是一个平面，在多维空间有待探索。

2、高维投射

三维线性分类器反投影到二维空间.PNG 二维数据投射到三维空间.PNG 转换成线性可分的二维模型.PNG 线性不可分的一维模型.PNG

将低维数据通过核函数投射到高维空间，使原来线性不可分的数据变得线性可分，高维空间可以通过投影回到低维空间，缺点是这种低维向高维的投射计算复杂度比较高。

3、如何分析RBF核函数

RBF函数的应用扩展.PNG RBF核函数sita性质2.PNG RBF核函数sita性质.PNG RBF核函数标记点特性.PNG RBF核函数的性质.PNG 高斯核函数（RBF径向基核函数）.PNG

这里列举了高斯核函数，它有一个中心点，数据离中心点越近对应的函数值越高，最大值是1，中心点越远，对应的函数值越低，呈指数式速度下降，趋近于0。sita值决定分类圆圈的半径，sita越大，达到相同的函数值，对应的数据点也离中心点越远，对应的半径越大，sita越小对应的半径越小。
高斯函数通过加和可以扩展到区分如下数据，这里是简单的加和，严谨的说图中的小于号可以换成小于等于，可以在两个高斯核函数前乘以系数，并且可以加常数项，这里是为了方便理解表示，
简化公式复杂度，表达核心思想。

4、常用的几种核函数类型

三种常用核函数.PNG

一是高斯核函数
二是Sigma核函数，简称S核函数，实际上是一个双曲正切函数
三是多项式核函数，对应次方为1是线性核函数，次方为2是二项核函数。

5、介绍一个核函数学习网站

www.crsouza.com/2010/03/17/kernel-functions-for-machine-learning-application/