1、偏差和方差
在机器学习中，过拟合和欠拟合都会使训练好的机器学习模型在真实的数据中出现错误。我们可以将错误分为偏差（Bias）和方差（Variance）两类。下面就来看看偏差和方差的定义、产生原因以及二者之间如何权衡。
偏差（bias）：偏差衡量了模型的预测值与实际值之间的偏离关系。例如某模型的准确度为96%，则说明是低偏差；反之，如果准确度只有70%，则说明是高偏差。
方差（variance）：方差描述的是训练数据在不同迭代阶段的训练模型中，预测值的变化波动情况（或称之为离散情况）。从数学角度看，可以理解为每个预测值与预测均值差的平方和的再求平均数。通常在模型训练中，初始阶段模型复杂度不高，为低方差；随着训练量加大，模型逐步拟合训练数据，复杂度开始变高，此时方差会逐渐变高。
[if !vml]
[endif]
2、偏差和方差的权衡
有一些算法天生就是高方差的算法，如kNN算法。非参数学习算法通常都是高方差，因为不对数据进行任何假设。
有一些算法天生就是高偏差算法，如线性回归。参数学习算法通常都是高偏差算法，因为对数据有迹象。
关于解决方差和偏差的问题中：
我们要知道偏差和方差是无法完全避免的，只能尽量减少其影响。
[if !supportLists]1. [endif]在避免偏差时，需尽量选择正确的模型，一个非线性问题而我们一直用线性模型去解决，那无论如何，高偏差是无法避免的。
[if !supportLists]2. [endif]有了正确的模型，我们还要慎重选择数据集的大小，通常数据集越大越好，但大到数据集已经对整体所有数据有了一定的代表性后，再多的数据已经不能提升模型了，反而会带来计算量的增加。而训练数据太小一定是不好的，这会带来过拟合，模型复杂度太高，方差很大，不同数据集训练出来的模型变化非常大。
[if !supportLists]3. [endif]最后，要选择合适的模型复杂度，复杂度高的模型通常对训练数据有很好的拟合能力。
其实在机器学习领域，主要的挑战来自方差。处理高方差的手段有：
[if !supportLists]· [endif]降低模型复杂度
[if !supportLists]· [endif]减少数据维度；降噪
[if !supportLists]· [endif]增加样本数
[if !supportLists]· [endif]使用验证集
3、模型正则化（未完待续）
其实还有一个降低方差的重要方法：模型正则化。本文从理论及代码两个方面对L1正则、L2正则进行了介绍，帮助大家了解其背后的原理以及实际的使用方法
网友评论