鉴于笔者所在公司最近爆出财务丑闻，公司前景堪忧。裁员也只是时间问题，所以又要拿起书本，投入到新一轮的复习、投简历、找工作的紧张节奏中。最近使用树模型较多，所以从集成学习入手。
问题：集成学习分那几种，他们有何异同？
答： 集成学习主要分为boosting 和 bagging
其中boosting在训练基分类器时采用串行方式，各个基分类器之间有依赖。类似人类学习的过程，第一遍学习中产生的错误，在第二遍学习中加强学习，不断往复，直到犯错误的次数减小到最低程度。
bagging与其相反，各个基分类器之间没有依赖。可以进行并行训练，各个基分类器学习的内容可以相同，不同，或重叠，决策时，每个人体单独做出判断，并通过投票的方式集体决策（随机森林就是基于bagging）
网友评论