SPSSAU-在线SPSS分析软件

随机森林模型 random forest   SPSSAU

随机森林模型

阅读随机森林模型前，建议首先阅读决策树模型手册（点击后跳到决策树模型的帮助手册页面），因为随机森林模型实质上是多个决策树模型的综合，决策树模型只构建一棵分类树，但是随机森林模型构建非常多棵决策树，相当于在重复决策树模型。随机森林模型基于随机样本进行构建，并且在每个树节点时，考虑到分裂随机特征性，因而一般意义上，随机森林模型优于决策树模型（但并不一定，实际研究中应该以数据为准）。

上述中提及随机森林模型是多个决策树模型的综合，但是数据本身就只有一份，其是如何做到多个决策树模型呢？此处涉及到随机抽样原理，比如有100个数据，第1次随机从其中随机抽取100个数据，就得到一份新数据，即可使用该新数据进行一次决策树模型构建，接着第2次重复随机抽取100个数据，又得到一份新数据，再次使用新数据进行一次决策树模型构建。不停地重复循环上述步骤，即得到多个决策树模型；至于应该是多少个决策树，这可由参数设置决定。在得到多个决策树后，利用投票方式（比如多份数据均指向应该为A类别，那么就为A类别）或者求解均值概率方式来统计最终的分类结果。

除此之外， 随机森林的其它参数和指标解读，与决策树基本一致，因为其实质性原理为多个决策树模型的综合而已。

随机森林模型案例

Contents

1 背景 2

2 理论 2

3 操作 3

4 SPSSAU输出结果 4

5文字分析 5

6 剖析 7

1 背景

随机森林时依旧使用经典的‘鸢尾花分类数据集’进行案例演示，共为150个样本，包括4个特征属性（4个自变量X），分别是花萼长度，花萼宽度，花瓣长度，花瓣宽度，标签为鸢尾花卉类别，共包括3个类别分别是刚毛鸢尾花、变色鸢尾花和弗吉尼亚鸢尾花（下称A、B、C三类）。

2 理论

随机森林模型的原理上，其可见下图。

比如本案例有150个样本，使用80%即120个样本用于训练模型，并且训练3个决策树（此处3为决策树数量参数值，可自行设置），该3个决策树的数据是随机抽样得到，构建得到3个决策树后，使用投票策略进行最终决策，该述整个模型即为随机森林模型全貌。具体涉及相关参数信息，如下：

上述参数中，节点分裂标准、节点分列最小样本、叶节点最小样本量和树最大深度共四个参数值，其与决策树模型完全一致，具体可参考决策树模型手册（点击后跳到决策树模型的帮助手册页面）。

最大特征数目限制：随机森林构建多棵决策树，每棵决策树不一定使用全部的特征（即自变量X），其可只使用部分特征，此参数值设置使用特征数量限制，通常情况下不需要对该参数设置，系统自动判断即可。

决策树数量：默认值为100，即构建100模决策树，该参数值可自行设置，通常不需要设置，决策树数量越多，模型构建越稳定，但模型运行时间越长。

是否有放回抽样：随机抽样原理上，比如100个样本中抽100个，第1次抽到编号5，第2次是否还可能继续抽到编号5，如果是放回抽样则可能，如果是不放回抽样则不可能再抽到编号5，正常情况下应该使用放回抽样，尤其是在样本数据集较少时。

袋外数据测试：比如100个样本随机抽100个，某些样本重复被抽到，可能余下一些编号无论如何也没有抽到，该类数据称为‘袋外数据’，此部分数据可在测试数据中进行使用。该参数不被选中时，即测试模型不使用袋外数据进行测试。

随机森林时，通常可以对“节点分列最小样本量”、“叶节点最小样本量”、“树最大深度”进行参数设置，该3个参数值与决策树模型完全一致，可参考决策树模型手册（点击后跳到决策树模型的帮助手册页面）。

3 操作

本例子操作如下：

训练集比例默认选择为:0.8即80%（150*0.8=120个样本）进行训练随机森林模型，余下20%即30个样本(测试数据)用于模型的验证。需要注意的是，多数情况下，会首先对数据进行标准化处理，处理方式一般使用为正态标准化，此处理目的是让数据保持一致性量纲。当然也可使用其它的量纲方式，比如区间化，归一化等。

接着对参数设置如下：

节点分裂标准默认为gini系数即可，不需要设置，最大特征数目限制默认自动进行即可，决策树数量SPSSAU默认为100，通常不需要设置，选中有放回采样和袋外数据测试。如果要进行参数设置，通过是对决策树模型已有的参数，包括“节点分列最小样本量”、“叶节点最小样本量”、“树最大深度”共3个参数进行设置，然后对比不同参数情况下模型的好坏，选择最优模型。本案例暂以默认值进行即可。

4 SPSSAU输出结果

SPSSAU共输出6项结果，依次为基本信息汇总，决策树结构图，特征模型图和特征权重图，训练集或测试集模型评估结果，测试集结果混淆矩阵，模型汇总表和模型代码，如下说明：

上述表格中，基本信息汇总仅展示出因变量Y（标签项）的分类分布情况，特征模型图和特征权重图可用于查看特征的相对重要性对比情况；模型评估结果（包括训练集或测试集），其用于对模型的拟合效果判断，尤其是测试集的拟合效果，非常重要，因而SPSSAU单独提供测试集结果混淆矩阵，用于进一步查看测试集数据的效果情况；模型汇总表格将各类参数值进行汇总，并且在最后附录随机森林模型构建的核心代码。

5文字分析

针对特征权重重要性对比上，X3和X4对于随机森林模型构建决策帮助较大，而X1的帮助相对最低（特别提示：此处与决策树模型结论差别较大，这在特征项较少且数据量较少时出现较为正常）。

接下来针对最重要的模型拟合情况进行说明，如下表格：

上表格中分别针对训练集和测试集，提供四个评估指标，分别是精确率、召回率、f1-scrore、准确率，以及平均指标和样本量指标等，如下表格说明：

具体上述具体指标的解读，可见决策树模型帮助手册，通常使用F1-score值进行评估即可，整体上，训练数据的F1-score值为0.95很高，而且测试数据时综合f1-score值为0.94，也很高（需要提示的是：在决策树模型时该值为0.906），意味着随机森林带来相对更优的预测结果。

接着可查看测试数据的‘混淆矩阵’，即模型预测和事实情况的交叉集合，如下图：

‘混淆矩阵’时，右下三角对角线的值越大越好，其表示预测值和真实值完全一致。上图中仅B类中2个样本被判断成C类，其余全部正确，意味着本次随机森林模型在测试数据上表现良好。最后SPSSAU输出模型参数信息值，如下表格：

上述参数信息仅为再次输出汇总，并无其它目的，最后SPSSAU输出使用python中slearn包构建本次随机森林模型的核心代码如下：

model = RandomForestClassifier(criterion=gini, max_depth=40, min_samples_leaf=10, min_samples_split=2, n_estimators=100, bootstrap=True, oob_score=True, max_features=auto)    

model.fit(x_train, y_train)

6 剖析

涉及以下几个关键点，分别如下：

• 随机森林模型时是否需要标准化处理?

一般建议是进行标准化处理，通常使用正态标准化处理方式即可。

• 训练集比例应该选择多少?

如果数据量很大，比如1万，那么训练集比例可以较高比如0.9，如果数据量较小，此时训练集比例选择较小预留出较多数据进行测试即可。

• 保存预测值

保存预测值时，SPSSAU会新生成一个标题用于存储模型预测的类别信息，其数字的意义与模型中标签项(因变量Y)的数字保持一致意义。

• 参数如何设置?

如果要进行参数设置，建议可将节点分列最小样本量往上调，叶节点最小样本量往上调，树最大深度可考虑设置相对较小值。设置后，分别将训练拟合效果，测试拟合效果进行汇总和对比，调整参数，找出相对最优模型。另建议保障训练集和测试集数据的f1-score值在0.9以上。

• SPSSAU进行随机森林模型构建时，自变量X（特征项）中包括定类数据如何处理?

随机森林模型时本身并不单独针对定类数据处理，如果有定类数据，建议对其哑变量处理后放入，关于哑变量可点击查看。

http://spssau.com/front/spssau/helps/otherdocuments/dummy.html

• SPSSAU中随机模型合格的判断标准是什么?

机器学习模型中，通常均为先使用训练数据训练模型，然后使用测试数据测试模型效果。通常判断标准为训练模型具有良好的拟合效果，同时测试模型也有良好的拟合效果。机器学习模型中很容易出现‘过拟合’现象即假的好结果，因而一定需要重点关注测试数据的拟合效果。针对单一模型，可通过变换参数调优，与此同时，可使用多种机器学习模型，比如使用决策树、支持向量机SVM、神经网络等，综合对比选择最优模型。

• 随机森林更多参考资料？

更多关于随机森林的资料，可通过sklearn官方手册查看，点击查看。

https://scikit-learn.org/stable/modules/ensemble.html#forests-of-randomized-trees

• SPSSAU进行随机森林模型时提示数据质量异常？

当前随机森林模型支持分类任务，需要确保标签项（因变量Y）为定类数据，如果为定量连续数据，也或者样本量较少（或者非会员仅分析前100个样本）时可能出现无法计算因而提示数据质量异常。