模型介绍：在前面所使用的逻辑斯蒂回归和支持向量机模型，都在某种程度上要求被学习的数据特征和目标之间遵照线性假设。然而，在许多现实场景下，这种假设是不存在的。如果要用数学表达式描述这种非线性关系，使用分段函数最为合理；而在机器学习模型中，决策树就是描述这种非线性关系的不二之选。
这类使用多种不同特征组合搭建多层决策树的情况，模型在学习的时候就需要考虑特征节点的选取顺序。常用的度量方式包括信息熵和基尼不纯性。
泰坦尼克号乘客数据查验
import pandas as pd
titanic=pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt')
#观察前几行数据，可以发现，数据种类各异，数值型、类别型，甚至还有缺失数据。
titanic.head()
#使用pandas，数据都转入pandas独有的dataframe格式（二维数据表格），直接使用info（），查看数据的统计特征。
titanic.info()
该数据共有1313条，并且有些特征数据是完整的（如pclass、name），有些则是缺失的；有些是数值类型的，有些则是字符串。
PS:float浮点数，int整数。
使用决策树模型预测泰坦尼克号乘客的生还情况
#根据我们对这场事故的了解，sex，age，pclass这些特征都很有可能是决定幸免与否的关键因素
X=titanic[['pclass','age','sex']]
y=titanic['survived']
#对当前选择的特征进行探查
X.info()
#借由上面的输出，我们设计如下几个数据处理的任务：
#1）age这个数据列，只有633个，需要补完。
#2）sex与pclass两个数据列的值都是类别型的，需要转化为数值特征，用0/1代替。
#首先我们补充age里的数据，使用平均数或者中位数都是对模型偏离造成最小影响的策略。
X['age'].fillna(X['age'].mean(),inplace=True)#inplace=True,不创建新的对象,直接在原始对象上尽心修改.
#对补完的数据重新探查
X.info()
#数据分割
from sklearn.cross_validation import train_test_split
X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.25,random_state=33)
#使用scikit-learn.feature_extraction中的特征转换器，详见3.1.1.1特征抽取
from sklearn.feature_extraction import DictVectorizer
vec=DictVectorizer(sparse=False)
#转换特征后，我们发现凡是类别的特征都单独剥离出来，独成一列特征，数值型的则保持不变。
X_train=vec.fit_transform(X_train.to_dict(orient='record'))
print(vec.feature_names_)
['age', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', 'sex=female', 'sex=male']
PS: DataFrame.to_dict(orient='record')用法
#同样需要对测试数据的特征进行转换。
X_test=vec.transform(X_test.to_dict(orient='record'))
#从sklearn.tree中导入决策树分类器
from sklearn.tree import DecisionTreeClassifier
#使用默认配置初始化决策树分类器
dtc=DecisionTreeClassifier()
#使用分割到的训练数据进行模型学习
dtc.fit(X_train,y_train)
#用训练好的决策树模型对测试特征数据进行预测
y_predict=dtc.predict(X_test)
决策树模型对泰坦尼克号乘客是否生还的预测性能
from sklearn.metrics import classification_report
print(dtc.score(X_test,y_test))
print(classification_report(y_predict,y_test,target_names=['died','survived']))
决策树模型总体在测试集上的预测准确性约为78.12%。详细的性能指标进一步说明，该模型在预测遇难者方面性能较好；却需要在识别生还者的精确率方面下功夫。
特点分析
相比于其他学习模型，决策树在模型描述下有着巨大的优势。决策树的推断逻辑非常直观，具有清晰的可解释性，也方便了模型的可视化。这些特征同时也保证在使用决策树模型时，是无须考虑对数据的量化甚至标准化的。并且，与前一节的K近邻模型不同，决策树仍然属于有参数模型，需要花费更多的时间在训练数据上。
网友评论