7. 线性模型2

• 非线性转化
• 逻辑回归

---

非线性转化

对于线性模型无法区分的数据对象，往往考虑通过映射到高一级的空间来使得数据本身线性可分。

最终的假设g(x)依然在X空间中。z空间为我们学习过程中的一环。

转换代价

转换使得维度增加，那么VC维的值可能会增加，使得模型更加复杂且泛化能力下降。

非线性可分的两种情况：

对于第一种出现的非线性可分情况，因为误差较小，所以应该调整E_in来避免增加维度导致泛化能力减弱。

对于第二种穿线的非线性可分情况

这样的变化过程是因为在开始时，通过观测数据来定义了假设空间，这样会使得我们的假设空间变小，可以更快的减小Ein，但是会危及Eout，使得泛化能力减弱。
在设定假设前窥探数据，术语称为数据窥探（Data snooping）。

具体的影响在于，你的假设空间将大大缩小，使得VC不等式给出的限定等都不再有效。而这时的抽样数据也不再真实的反应实际情况。

逻辑回归

• 模型
• 误差衡量
• 学习算法

---

模型

线性回归+阈值的方式，已经很难完成一个鲁棒性很好的分类器。 在这样的场景下，逻辑回归就诞生了。它的核心思想是，如果线性回归的结果输出是一个连续值，而值的范围是无法限定的，那我们有没有办法把这个结果值映射为可以帮助我们判断的结果呢。而如果输出结果是 (0,1) 的一个概率值，这个问题就很清楚了。

误差衡量

因为sigmoid函数满足上图中的蓝色变化。
所以P可以表示为下式：

要令上式中的likelihood最大化，就是使得下式最小化：

学习算法

如何最小化Ein

迭代法中以梯度下降法最有代表性。原理为搜寻周边可达点，找到Ein最小的位置并一直迭代。

---

线性模型汇总