核函数——长大后我就成了你

作者: To_QT | 来源:发表于2019-08-01 14:42 被阅读0次

女神镇楼-图片来源于百度

1. 核函数的直观理解

这个知乎回答的前两条已经讲明白了什么是核函数，并且也给出了具体的栗子，这里就不废话了。
北京四合院的例子其实是一个完整的核技巧应用的栗子。分为以下两步：

来源——《机器学习有很多关于核函数的说法，核函数的定义和作用是什么？》

目的是要把图1中的红色门与紫色字体分开，很明显，一条直线无法做到，因此使用变换，提升了一个维度之后，变成了图2的样子，这个时候用绿色的平面在新的空间中就能轻易做到了。

书上的一个栗子

2. 常用的核函数：

常用的核函数

2.1 Radial basis function（RBF）的映射函数：

首先回顾一下泰勒级数：

泰勒级数

而函数 $e^x$ 的泰勒展开式为 $e^x=\sum_{n=0}^{\infty}\frac{x^n}{n!}$ ，所以，RBF的展开式为：
$\begin{align} K(v_1, v_2) =& e^{-\gamma||v_1-v_2||^2} \\ =&e^{-\gamma(v_1^2-2v_1v_2+v_2^2)} \\ =&e^{-\gamma v_1^2}e^{-\gamma v_2^2} e^{\gamma(2v_1v_2)}\\ =&e^{-\gamma v_1^2}e^{-\gamma v_2^2}(1+\sqrt{\frac{2\gamma}{1!}}v_1 \sqrt{\frac{2\gamma}{1!}}v_2+\sqrt{\frac{2\gamma^2}{2!}}v_1^2 \sqrt{\frac{2\gamma^2}{2!}}v_2^2+...+\sqrt{\frac{2\gamma^n}{n!}}v_1^n \sqrt{\frac{2\gamma^n}{n!}}v_2^n)\\ =&e^{-\gamma v_1^2} \begin{bmatrix} 1 & \sqrt{\frac{2\gamma}{1!}}v_1& ... \end{bmatrix} e^{-\gamma v_2^2} \begin{bmatrix} 1\\ \sqrt{\frac{2\gamma}{1!}}v_2 \\ ...\\ \end{bmatrix} \end{align}$
所以映射函数
$\begin{align} \phi(x) = e^{-\gamma x^2} \begin{bmatrix} 1 & \sqrt{\frac{2\gamma}{1!}}x_1& ... \end{bmatrix}^T \end{align}$