决策树:基本的分类与回归方法。本质是从训练数据集中归纳出一组分类规则
学习策略:找出和训练数据矛盾较小的决策树,同时有比较好的泛化能力
算法:一个递归选择最优特征,并依据该特征对训练数据进行分割,使得每个子集有一个最好的分类过程
特征选择:特征选择的准则是信息增益或增益比
决策树生成:ID3算法、C4.5算法
决策树剪枝
CART算法:分类与回归树(Classification and Regression Tree。CART) ,应用广泛的决策树学习方法。同样由特征选择、树的生成和剪枝组成
CART生成:递归构建二叉决策树,回归树用平方误差最小化准则,分类树用基尼指数最小化准则
剪枝:从完全生长的决策树底端剪去一些子树,使模型简单,对未知有更准确的预测
网友评论