【科普周】看图学机器学习（三）（下篇）

欢迎关注哈希大数据微信公众号【哈希大数据】
接上期内容
6. Basis functions（基础函数）
非线性基础函数是如何将没有线性边界的低维分类问题转化为具有线性边界的高维分类问题。Andrew Moore的支持向量机SVM(Support Vector Machine)教程幻灯片中有：一个单维度的非线性带有输入x的分类问题转化为一个2维的线性可分的z=(x,x^2)问题。

image.png
7. Discriminative vs. Generative（判别性vs生成性）
为什么判别式学习比生成式学习更加简单：PRML下图这两类方法的分类条件的密度举例，有一个单一的输入变量x（左图），给出相应的后验概率（右图）。注意到在在左图中以蓝色线条表示的分类条件密度p(x|C1)的模式，对后验概率没有影响，咱们去检验其真实概率分布比较困难，但基于右图直接配别其分类还是比较简单的。右图中垂直的绿线展示了x中的决策边界，它给出了最小的误判率，在绿线左侧属于C1在绿线右侧属于C2。
image.png
8. Loss functions（损失函数）
学习算法可以被视为用来优化不同的损失函数的，PRML下图中用蓝色线条表示应用于支持向量机中的“铰链”错误函数图形，逻辑回归中的误差函数被用1/ln(2)进行放缩来重新调整，使它能通过点（0，1），以红色线条表示。黑色线条表示误分，均方误差以绿色线条表示。
image.png
9.Geometry of least squares（最小二乘的空间原理）
ESL下图是利用二维空间的最小二乘回归对N维空间预测的几何原理图。真实向量y正交投影到被输入向量x1和x2所跨越的超平面上，投影y^代表了最小二乘预测的向量。
image.png
10.Sparsity（稀疏性）
为什么Lasso算法（L1正规化或者拉普拉斯先验）给出了稀疏的解决方案（比如：很多特征的权重为0）：ESL下图中左边是lasso算法的判断函数图，右侧是岭回归算法的判断函数图。展示了误差函数的等值线以及约束函数。当红色椭圆是最小二乘误差函数的等值线时，实心的蓝色区域是约束区域|β1| + |β2| ≤ t以及β12+ β22≤ t2。由下图可以看出lasso算法得到的解并非最优解，但其确实能起到降维的作用左图中最终结果β1=0，β2是一个不为零的值，岭回归算法得到的β1虽然不为0但也很小，所以β1对应的变量变化对结果影响也非常有限，起到了降维的作用。
image.png
原文链接：http://www.denizyuret.com/2014/02/machine-learning-in-5-pictures.html（需要科学上网）