1. 组合模型对于模型bias以及variance的影响：
-
定义
bias：期望输出与真实标记的差别称为偏差。
variance：不同的训练数据集训练出的模型的输出值之间的差异，它表示了模型的稳定程度。 -
bias变化
不同bias倾向的弱模型组合，组合具备非线性的分类能力，效果是减少bias。 -
variance变化
不同variance倾向的弱模型组合，中和不稳定variance模型效果，相当于进行了正则化。
2. 为了生成组合模型，有几种不同的思路：
-
数据角度
对数据进行不同的切分 -
模型角度
对模型的种类和参数进行不同的分类，几种不同的种类：Bagging/Boosting/Spliting- Bagging：有放回的对数据抽样，建模。
- Boosting：追求每一轮模型跟上一轮模型的差异尽量最大化。将每一轮的误差数据赋予更大的权重，在下一轮抽样的时候重新训练模型。
- Spliting：将高纯度的同类别样本进行组合在一起，进行分类别的训练。用特征取值切分样本。决策树就是一种spliting的方式。
网友评论