机器学习集成学习—Apple的学习笔记

1.  Bagging

①  Bagging又叫自助聚集，是一种根据均匀概率分布从数据中重复抽样（有放回）的技术。

②  每个抽样生成的自助样本集上，训练一个基分类器；对训练过的分类器进行投票，将测试样本指派到得票最高的类中。

③  每个自助样本集都和原数据一样大

④  有放回抽样，一些样本可能在同一训练集中出现多次，一些可能被忽略。

2.   boosting

Boosting算法的工作机制是首先从训练集用初始权重训练出一个弱学习器1，根据弱学习的学习误差率表现来更新训练样本的权重，使得之前弱学习器1学习误差率高的训练样本点的权重变高，使得这些误差率高的点在后面的弱学习器2中得到更多的重视。

3.    实现对比

4.    集成学习之结合策略：

平均法，算数平均或带权重的平均

投票法，直接比最大票数，加权投票

学习法，代表方法是stacking，就是加上一层学习器我们首先用初级学习器预测一次，得到次级学习器的输入样本，再用次级学习器预测一次，得到最终的预测结果。

5.   参考

https://www.cnblogs.com/pinard/p/6131423.html

https://blog.csdn.net/qq_30189255/article/details/51532442

https://www.cnblogs.com/royhoo/p/8941686.html

https://blog.csdn.net/ruiyiin/article/details/77114072

http://www.cnblogs.com/zongfa/p/9304353.html