6. 偏差 - 方差权衡

• 偏差 - 方差
• 学习曲线

---

偏差 - 方差

泛化与近似的权衡

Eout较小时，说明所提出的f与实际相比的近似度较高。即在实际环境中误差小。

复杂的h能够更好的近似f
而更为简单的h能够更好的泛化到实际环境中

偏差

量化权衡的方式：

有两种量化的方式可以用来考虑权衡:

1. VC分析的方式： E_out ≤ E_in + Ω
2. 偏差-方差分析：分析E_out
   1 假设空间对f的近似程度
   2 对于一个好的假设h 进行适度方法（泛化）
3. 在实际值的计算过程中，我们使用平方差。

E_out的分析：

D为样本集合
Ex为在整个x数据空间中的Error预期值。

E_out在整个样本数据空间中额预期Error为：

上面推导过程中：
与数据集D无关项为常数项。
g^D(x)的期望就是g均值，所以交叉项消去

综上：

等式右边的
第一项为方差，方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。
第二项为偏差，偏差是指个别测定值与测定的平均值之差。

偏差与方差的平衡

从左到右，偏差下降，方差上升。

实例：
我们从学习的角度考虑下面这个例子：

在知道最终的目标的情况下，我们可以选择出h0 h1最优的形式：

但当我们仅获得了N个数据点的时候，我们所得到的结果可能如下：

这就是为什么我们需要使用偏差-方差去衡量h

如果我们对h0给出较大的N：
绿线与蓝色之间的空间为偏差，而与灰色部分的空间为方差。

对h1而言
我们可以得到更小的偏差，但是方差的空间也变大了。

最终结果

所以，模型的复杂度应该与数据量相匹配而不是目标的复杂度。

学习曲线

刻画Ein Eout的关系

复杂模型与简单模型的对比：

在复杂模型中error为0的位置为VC维，低于该处的N可以为完全划分，所以Error为0。

VC中红色部分基本可以视为Ω
在偏差-方差分析中，我们不关注在样本中误差，因为我会直接使用g平均。

以线性回归为例：

上图中，样本内误差与样本外误差都有σ^2来衡量，而泛化误差就是Eout-Ein。结果恰好证明了VC维度对这些误差的控制。