20180926 qzd
一、思维导图
核函数.png
二、知识碎片
1、简单核函数
1）线性核
k(x,x')=xx'+c，线性核对应等值映射，不能提高表示性，但在很多实际问题中可取得较好的效果。注意核方法不仅包括特征映射，同时包括非参数建模，因此即使是线性核在很多实用场景中也好于传统参数方法。同时，线性核可以用来验证算法的正确性。
2）多项式核
k(x,x')=( αx•x'+c)d α>0,c≤0,d∈Z+，
多项式核的一个缺点是当阶数d比较大时，在取值时容易出现数值上的不稳定，可能出现过大或过小值。
3）高斯核
k(x,x')=exp(-α||x-x'||^2)，其中α是控制核函数宽度的参数。高斯核对应无限维特征空间。高斯核是距离的函数，具有位置不变性。这一形式与径向基（RBF）一致，因此高斯核也常称为RBF核。
指数核：k(x,x')=exp(-α||x-x'||1)，与高斯核相比，指数核具有更明显的长尾效应，可用于描述较大范围内的相关性。
上述核函数计算数据样本点之间的距离，不具有概率意义，对噪声比较敏感。一种可能的处理方法是设计一个概率生成模型p(x)
4）概率核
k(x,x')=p(x)p(x')，上述定义意味着当两个输入x和x’都具有较大的概率时，则两者是相似的。
- 对上述核函数可进行扩展，用混合分布描述更复杂的相似性。
其中，zi是隐变量
其中，z是连续隐变量
- Fisher核
2、半正定矩阵
半正定矩阵是正定矩阵的推广。实对称矩阵A称为半正定的，如果二次型X'AX半正定，即对于任意不为0的实列向量X，都有X'AX≥0。
3、对偶表达
对偶表达是将参数模型转换成非参数模型的重要步骤，是核方法的基础。
4、Gram矩阵
5、再生希尔伯特空间
网友评论