决策树
模型介绍
在前面使用的Logistic回归和支持向量机模型，都在某种程度上要求被学习的数据特征和目标之间遵循线性的假设，然而很多情况下不实际的。
Example
我们要根据一个人的年龄来预测其患流感死亡的概率。
如果采用线性模型假设，那么我们只有两种情况：年龄越大死亡率越高；年龄越小死亡率越高。然而我们根据常识判断，青壮年有更加健全的免疫系统，相较于儿童和老年人死亡率更低。如果使用数学表达式来描述这种非线性关系，使用分段函数更加合理；而在机器学习模型中，决策树是不二之选。
信用卡申请的审核涉及申请人的多项特征，也是典型的决策树模型。决策树节点代表数据特征，如年龄、身份是否是学生、信用评级等，每个节点下的分支代表对应特征值的分类，如年龄包括青年人、中年人和老年人等。而决策树的所有叶子节点则显示模型的决策结果，对于信用卡申请而言，这是一个二分类决策任务。
信用卡申请决策树模型
数据描述
我们使用决策树来预测泰坦尼克号乘客的生还情况。
import pandas as pd
titanic = pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt')
# 观察一下前几行数据，可以发现，数据种类各异，数值型、类别型，甚至还有缺失数据。
titanic.head
<bound method NDFrame.head of row.names pclass survived \
0 1 1st 1
1 2 1st 0
2 3 1st 0
3 4 1st 0
4 5 1st 1
... ... ... ...
1308 1309 3rd 0
1309 1310 3rd 0
1310 1311 3rd 0
1311 1312 3rd 0
1312 1313 3rd 0
name age embarked \
0 Allen, Miss Elisabeth Walton 29.0000 Southampton
1 Allison, Miss Helen Loraine 2.0000 Southampton
2 Allison, Mr Hudson Joshua Creighton 30.0000 Southampton
3 Allison, Mrs Hudson J.C. (Bessie Waldo Daniels) 25.0000 Southampton
4 Allison, Master Hudson Trevor 0.9167 Southampton
... ... ... ...
1308 Zakarian, Mr Artun NaN NaN
1309 Zakarian, Mr Maprieder NaN NaN
1310 Zenn, Mr Philip NaN NaN
1311 Zievens, Rene NaN NaN
1312 Zimmerman, Leo NaN NaN
home.dest room ticket boat sex
0 St Louis, MO B-5 24160 L221 2 female
1 Montreal, PQ / Chesterville, ON C26 NaN NaN female
2 Montreal, PQ / Chesterville, ON C26 NaN (135) male
3 Montreal, PQ / Chesterville, ON C26 NaN NaN female
4 Montreal, PQ / Chesterville, ON C22 NaN 11 male
... ... ... ... ... ...
1308 NaN NaN NaN NaN male
1309 NaN NaN NaN NaN male
1310 NaN NaN NaN NaN male
1311 NaN NaN NaN NaN female
1312 NaN NaN NaN NaN male
[1313 rows x 11 columns]>
# 使用pandas，数据都转入pandas独有的dataframe格式（二维数据表格），直接使用info()，查看数据的统计特性。
titanic.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1313 entries, 0 to 1312
Data columns (total 11 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 row.names 1313 non-null int64
1 pclass 1313 non-null object
2 survived 1313 non-null int64
3 name 1313 non-null object
4 age 633 non-null float64
5 embarked 821 non-null object
6 home.dest 754 non-null object
7 room 77 non-null object
8 ticket 69 non-null object
9 boat 347 non-null object
10 sex 1313 non-null object
dtypes: float64(1), int64(2), object(8)
memory usage: 113.0+ KB
# 机器学习有一个不太被初学者重视，并且耗时，但是十分重要的一环，特征的选择，这个需要基于一些背景知识。根据我们对这场事故的了解，sex, age, pclass这些都很有可能是决定幸免与否的关键因素。
X = titanic[['pclass', 'age', 'sex']]
y = titanic['survived']
# 对当前选择的特征进行探查。
X.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1313 entries, 0 to 1312
Data columns (total 3 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 pclass 1313 non-null object
1 age 633 non-null float64
2 sex 1313 non-null object
dtypes: float64(1), object(2)
memory usage: 30.9+ KB
# 借由上面的输出，我们设计如下几个数据处理的任务：
# 1) age这个数据列，只有633个，需要补完。
# 2) sex 与 pclass两个数据列的值都是类别型的，需要转化为数值特征，用0/1代替。
# 首先我们补充age里的数据，使用平均数或者中位数都是对模型偏离造成最小影响的策略。
X['age'].fillna(X['age'].mean(), inplace=True)
X.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1313 entries, 0 to 1312
Data columns (total 3 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 pclass 1313 non-null object
1 age 1313 non-null float64
2 sex 1313 non-null object
dtypes: float64(1), object(2)
memory usage: 30.9+ KB
# 由此得知，age特征得到了补完。
# 数据分割。
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state = 33)
# 我们使用scikit-learn.feature_extraction中的特征转换器，详见3.1.1.1特征抽取。
from sklearn.feature_extraction import DictVectorizer
vec = DictVectorizer(sparse=False)
# 转换特征后，我们发现凡是类别型的特征都单独剥离出来，独成一列特征，数值型的则保持不变。
X_train = vec.fit_transform(X_train.to_dict(orient='record'))
print(vec.feature_names_)
['age', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', 'sex=female', 'sex=male']
# 同样需要对测试数据的特征进行转换。
X_test = vec.transform(X_test.to_dict(orient='record'))
# 从sklearn.tree中导入决策树分类器。
from sklearn.tree import DecisionTreeClassifier
# 使用默认配置初始化决策树分类器。
dtc = DecisionTreeClassifier()
# 使用分割到的训练数据进行模型学习。
dtc.fit(X_train, y_train)
# 用训练好的决策树模型对测试特征数据进行预测。
y_predict = dtc.predict(X_test)
# 从sklearn.metrics导入classification_report。
from sklearn.metrics import classification_report
# 输出预测准确性。
print (dtc.score(X_test, y_test))
# 输出更加详细的分类性能。
print (classification_report(y_predict, y_test, target_names = ['died', 'survived']))
0.7811550151975684
precision recall f1-score support
died 0.91 0.78 0.84 236
survived 0.58 0.80 0.67 93
accuracy 0.78 329
macro avg 0.74 0.79 0.75 329
weighted avg 0.81 0.78 0.79 329
特点分析
相比于其他模型，决策树在模型描述上有着巨大的优势。决策树的推断逻辑非常直观，具有清晰的可解释性，也方便了模型的可视化。这些特性同时也保证在使用决策树模型时，无需考虑对数据的量化甚至标准化。与K邻近不同的是，决策树仍然属于有参数模型，需要花费更多的时间在训练数据上。
网友评论