机器学习-集成方法 Bagging vs Boosting

集成方法将多个分类器组合在一起，产生比单个分类器更好的预测性能。集成模型的主要原理是，一组较弱的学习器聚集在一起形成一个较强的学习器，从而提高模型的准确性。

造成学习错误的主要原因是噪声、偏差和方差。集成有助于最小化这些因素。这些方法旨在提高机器学习算法的稳定性和准确性。多分类器的组合降低了方差，特别是在不稳定分类器的情况下，可能产生比单个分类器更可靠的分类。

Bagging

Bagging是并行式集成学习方法的代表。主要方法是从随机选择的训练样本中创建几个数据子集。每个子集数据的集合被用来训练对应的分类器，由此得到了不同模型的集合。预测时，采用不同分类器的预测结果的平均值，比单一的分类器具有更强的鲁棒性。

Bagging的步骤：

• 假设训练数据集中有N个观测值和M个特征。从训练数据集中随机抽取样本进行替换。随机选取M个特征的子集，以分割效果最好的特征迭代分割节点。
• 以上步骤重复n次，根据n棵树的预测值的集合给出预测。

优势：

• 减少模型的过度拟合。
• 很好地处理高维数据。
• 保持丢失数据的准确性。

缺点：
由于最终预测是基于子集树的平均预测，因此它不能为分类和回归模型提供精确的值。

Boosting

定义：
Boosting的主要思想是，先让学习器在初始训练集上依次进行初步的训练，然后根据学习器的表现进行加权。当一个样本被一个学习器错误分类时，它的权重会增加，这样下一次就更有可能正确分类。重复这一过程，直到学习器的数量达到指定值，最终的预测结果是多个学习器的加权投票的结果。这一过程将弱学习器转化为表现更好的学习器，这里的“弱学习器”指的是表现比随机猜稍微好一点的学习器。

Boosting的一个著名的代表是AdaBoost。

假设有一个数据集， ，一个分类器在训练集的错误率为

假设现在有了一系列的弱学习器，将它们组合在一起:
这里的是权重，在boosting的算法过程中得到的。

Boosting的步骤

• 在初始训练集上训练一个分类器，根据分类表现修改数据权重
• 在修改过的数据集上再训练一个分类器， 再更改权重
• 重复直到分类器数量足够，得到

每个样本的初始权值为，在常规方法训练第一个分类器之后，修改样本的权重。在第步分类错误的样本的权重会在第步增加，而分类正确的样本权重则会减小。

样本加权的效果是，难以正确分类的样本权重会越来越大，而后面的分类器会被迫更多的关注于之前分类错误的样本上。

学习器权重更新公式：
，样本权重的更新

Boosting在一组基本函数中拟合加性模型。

优势：
支持不同的损失函数

缺点：
容易过度合身。
需要仔细调整不同的超参数。

Bagging的弱学习器是来自过拟合，而Boosting的弱学习器是由于欠拟合。

参考

• 周志华-机器学习