1. 线性模型

线性分类

以数字识别为例：

数字图像数据集.png

对其中的一张图而言（假定为16*16像素），其输入为：
x = (x₁ ,x₂ ,x₃,...,x₂₅₆)
同样，一般添加人工变量x0 = 1
x = (x₀,x₁ ,x₂ ,x₃,...,x₂₅₆)
那么，线性模型中将有参数如下：
w = (w₀,w₁ ,w₂ ,w₃,...,w₂₅₆)

这显然是不可取的，所选择的变量要素应该提供更加重要的信息。
例如：
强度与对称性 x = (x₀,x₁ ,x₂)

• 仅对1和5根据上述的两个变量要素进行划分，结果如下图：

  
  1和5按照两个变量要素进行划分.png

线性模型的表现：

线性模型效果图.png

明显，在过程中，我们遗失了最好的一个结果（250迭代处），所以，我们需要将过程中产生的最好的结果进行保存，在后续的迭代过程中若出现更优的进行替换，否则，在最终输出所保存的结果。
效果如下：

口袋算法效果图.png
分界线对比.png

线性回归

回归一词意味着真实值的输出。

以信用评估为例

分类：评判是否给予信贷（是/否）
分类函数的结果一般是+1 或 -1
回归：确定基于信贷的额度（1000，2000，3000...）
回归函数的结果是连续值

image.png

误差衡量

如何使h(x) = w^Tx 近似 f(x)?
在线性回归中，我们需要引入平方误差 (h(x) - f(x))²

在分类中，我们只需要告诉函数，它的结果是对还是错。而在线性回归中，我们还需要告诉函数它错了多少。

样本内错误公式.png

下图中的点为实际数据点，蓝色线为拟合出的函数线，红色线代表了拟合的函数与实际数据之间的误差。当维度大于2时，所谓线性回归得到的往往是一个超平面。

简单的线性回归图.png Ein所表达的意义.png

为了使得误差最小化，对E求导令其为0并化简。

线性回归用于分类

sign（ w^Tx ）可以使得y约等于±1，相较于线性分类对每个目标进行错误验证后调整，线性回归更加快捷。

处理非线性可分数据

对原数据进行映射，使得原本线性不可分的数据在数据空间中的位置产生变化。在变换后的空间找到可分割的线面，然后再映射回原本的空间中。