Ensemble

集成学习（ensemble learning）：Stacking，boosting，bagging（bootstrap aggregating）
很多方法和思路可以其实都直接用到了dnn中，譬如Boosting，在参差神经网络。bagging用在了deep ensemble中。

区别：

• boosting，能减少bias与variance，其classifier是sequential的。（例如“AdaBoost(Adaptive Boosting)，GBM(Gradient Boosting Machine)，XGBoost*GDBT的一种实现）
• bagging，多个同构模型，能减少variance，其classifier是independent的。（Random forest）
• Stacking，多个异构classifier，训练meta model来获得最终output