使用威斯康星州乳腺癌数据，划分训练集和测试集，比较经典决策树和条件决策树的效果。
条件决策树
算法如下：
(1) 对输出变量与每个预测变量间的关系计算p值。
(2) 选取p值最小的变量。
(3) 在因变量与被选中的变量间尝试所有可能的二元分割（通过排列检验），并选取最显著的分割。
(4) 将数据集分成两群，并对每个子群重复上述步骤。
(5) 重复直至所有分割都不显著或已到达最小节点为止。
条件推断树可由party包中的ctree()函数获得：
library(party)
fit.ctree <- ctree(class~., data=df.train)
plot(fit.ctree, main="Conditional Inference Tree")
ctree.pred <- predict(fit.ctree, df.validate, type="response")
ctree.perf <- table(df.validate$class, ctree.pred,dnn=c("Actual", "Predicted"))
ctree.perf
注：
值得注意的是，对于条件推断树来说，剪枝不是必需的，其生成过程相对更自动化一些。另外，party包也提供了许多图像参数。
下图展示了一棵条件推断树，每个节点中的阴影区域代表这个节点对应的恶性肿瘤比例。
predict()函数用来对验证集中的观测点分类。结果给出了实际类别与预测类别的交叉表。整体来看，条件决策树中验证集中的准确率是95.2381%，经典决策树的准确率是96%。
尽管在这个例子中，传统决策树和条件推断树的准确度比较相似，但有时它们可能会很不一样。
总结
· rpart包的处理方式：
首先对所有自变量和所有分割点进行评估，最佳的选择是使分割后组内的数据更为"一致"(pure)。这里的"一致"是指组内数据的因变量取值变异较小。
rpart包对这种"一致"性的默认度量是Gini值("吉尼系数"也可以用来衡量样本数据集的纯度。
吉尼系数越小，则表示该节点可以有效的把同一类聚集在一起。反之，分割后的类别越杂乱，则吉尼系数会越大。
在决策树生成时，当用到吉尼系数这个方法时，通常会计算每一个特征的吉尼系数，接着比较各个特征下的吉尼系数，系数越小的特征越适合先作为内部节点。)。
确定停止划分的参数有很多(参见rpart.control)，确定这些参数是非常重要而微妙的，因为划分越细，模型越复杂，越容易出现过度拟合的情况，而划分过粗，又会出现拟合不足。
处理这个问题通常是使用"剪枝"（prune）方法。即先建立一个划分较细较为复杂的树模型，再根据交叉检验(Cross-Validation)的方法来估计不同"剪枝"条件下，各模型的误差，选择误差最小的树模型。
· party包的处理方式：
它的背景理论是"条件推断决策树"（conditional inference trees）：它根据统计检验来确定自变量和分割点的选择。
即先假设所有自变量与因变量均独立。再对它们进行卡方独立检验，检验P值小于阀值的自变量加入模型，相关性最强的自变量作为第一次分割的自变量。自变量选择好后，用置换检验来选择分割点。
用party包建立的决策树不需要剪枝，因为阀值就决定了模型的复杂程度。所以如何决定阀值参数是非常重要的（参见ctree_control）。较为流行的做法是取不同的参数值进行交叉检验，选择误差最小的模型参数。
网友评论