书名：计算机视觉40例从入门到深度学习：OpenCV-Python
作者：李立宗
出版社：电子工业出版社
出版时间：2022-07-01
ISBN：9787121436857

---

第15章 机器学习导读

15.2 机器学习基础概念

15.2.6 偏差与方差

一、定义

• 用来估算学习算法的泛化性能的方式有很多，但是人们更希望了解造成性能差异的因素是什么。
  偏差-方差分解是解释性能差异的一个重要工具。

• 方差：
  使用相同规模的不同训练数据产生的差别。

• 偏差：
  期望输出与真实标签之间的差别。

---

二、对结果的影响

• 偏差与方差对结果的影响如图15-16所示。
  为了取得良好的学习效果，不仅要使偏差小，即能够高度拟合数据；
  还要使方差小，即在面对不同的数据时产生的差异小。

图15-16 偏差与方差对结果的影响

三、泛化误差与方差、偏差关系

• 上述要求看似容易达到，实际上偏差与方差存在冲突，即存在偏差-方差困境。
• 泛化误差与方差、偏差关系如图15-17所示，
  在学习时，若使用的数据集过小，则训练不充分，学习器的拟合能力不够强，训练数据的扰动不足以使学习器学到知识，此时偏差决定了泛化程度；
  随着训练的加深，学习器的拟合能力加强，训练数据的扰动被学习器学到，方差在泛化能力中起决定作用；
  当训练程度充足后，学习器的能力已经足够强，训练数据的轻微扰动就会导致学习器学到新的知识，从而发生过拟合。

图15-17 泛化误差与方差、偏差关系