“核函数”的理解

01

支持向量机核函数的思想

支持向量机通过某非线性变换 φ( x) ，将输入空间映射到高维特征空间。特征空间的维数可能非常高，这个变换函数不好确定。

经过数学推导（可惜过程还不是很清楚）发现，我们并不一定需要了解这个转换函数的具体表达式，只用到转换函数的内积运算；另一方面，而在低维输入空间又存在某个函数 K(x, x′) ，它恰好等于在高维空间中这个内积，即K( x, x′) =<φ( x) ⋅φ( x′) > 。

重要思路：基于上述分析，支持向量机就不用计算复杂的非线性变换，而由这个函数 K(x, x′) 直接得到非线性变换的内积，使大大简化了计算。

这样的函数 K(x, x′) 称为核函数。

疑惑：如何构造出适用的核函数？

02

核函数有哪些

核函数的选择要求满足Mercer定理（Mercer's theorem），即核函数在样本空间内的任意格拉姆矩阵（Gram matrix）为半正定矩阵（semi-positive definite）。

注：线性代数很多概念，还不够熟悉，还不能应用自如。

常用的核函数有：线性核函数，多项式核函数，径向基核函数，Sigmoid核函数和复合核函数，傅立叶级数核，B样条核函数和张量积核函数等 。