集成学习

2019/04/17
这两天把集成学习的内容看了一下，而且通过实验的形式进行了实际代码的操作，这部分的调优，做的工作还可以。下面来总结下最近看到的一些文章。

1. 随机森林参数调优[1]
   采用了两种方式，随机搜索和网格搜索，代码可以直接使用。
2. 随机森林的参数对性能的影响[2]
   这篇应该是我最开始看的那篇，一开始看过他的那篇类似调整决策树的内容。
3. 集成学习的分类，附简单代码[3][4][5][6]
   按照集成学习的不同形式进行分类，后续可以多看这个；他们属于介绍初级概念的文章，比如他会说多个不稳定的分类器利用bagging会更好（这个我得看看，确认下）;另外就是，voting这种的可能比较基础，很多都没有介绍，[5][6]中进行了介绍，并说明了软投票和硬投票。
4. 集成学习的调优[7][8]
   这里介绍的参数调优过程更细致，但是是单变量的调优过程，而且没有做性能图片。
5. python机器学习源码[9]
   本部分为notebook，来介绍这个集成学习；倒是他的这个图画的挺好的，有空可以看看他的其他章节
6. kaggle-stack形式的分类器
   他介绍了stack形式的分类器，因为这个部分还没有学习，所以可能需要花点精力来学习下。

参考文献

[1]hyperparameter-tuning-the-random-forest-in-python-using-scikit-learn
[2]in-depth-parameter-tuning-for-random-forest
[3]ensemble-learning
[4]boosting-bagging-and-stacking-ensemble-methods-with-sklearn-and-mlens
[5]ensemble-machine-learning-algorithms-python-scikit-learn/
[6]ensemble-methods-in-ml/
[7]complete-guide-parameter-tuning-gradient-boosting-gbm-python/
[8]complete-guide-parameter-tuning-xgboost-with-codes-python/
[9]python-machine-learning-book/blob/master/code/ch07/ch07.ipynb