对于机器学习和深度学习来说，用单模型的效果往往都没有进行模型融合后的效果好。
对模型来说，我们需要选择具有多样性，准确性的模型，对于融合的方式来说也有很多种，比如最简单的取平均或者投票法就是一种。这里主要讲一下stacking和blending，二者都是用了两层的模型。
blending
bending是一种模型融合方法，对于一般的blending，主要思路是把原始的训练集先分成两部分，比如70%的数据作为新的训练集，剩下30%的数据作为测试集。第一层我们在这70%的数据上训练多个模型，然后去预测那30%数据的label。在第二层里，我们就直接用这30%数据在第一层预测的结果做为新特征继续训练即可。
stacking
stacking也是一种模型融合的方法，类似blending。首先，直接用所有的训练数据对第一层多个模型进行k折交叉验证，这样每个模型在训练集上都有一个预测值，然后将这些预测值做为新特征对第二层的模型进行训练。相比blending，stacking两层模型都使用了全部的训练数据。
这两者其实不用分的太清楚，各有好坏：
Blending与stacking相比优点在于：
1.比stacking简单（因为不用进行k次的交叉验证来获得新特征）
2.由于两层使用的数据不同，所以避免了一个信息泄露的问题。
3.在团队建模过程中，不需要给队友分享自己的随机种子。
而缺点在于：
1.由于blending对数据集这种划分形式，第二层的数据量比较少。
2.由于第二层数据量比较少所以可能会过拟合。
3.stacking使用多次的CV会比较稳健
对于实践中的结果而言，stacking和blending的效果是差不多的，所以使用哪种方法都没什么所谓，完全取决于个人爱好。
stacking示意图
转载自:https://blog.csdn.net/echo_1994/article/details/81586938
网友评论