这学期AI课的最后一次assignment，老师要让大家实践一下decision tree，而且“You can use any existing machine learning tool for this task”，所以就有了我下面这篇文章，不足之处，望指正，共勉！

---

目录###

1. 环境搭建
2. 什么是Decision Tree？
3. 具体Python实现，附代码

---

1. 环境搭建

1.1 用Python实现机器学习的基础环境搭建, click here.

1.2 安装 pyparsing (1.5.7) 和 pydot

注：以下针对于 Mac OS 并且使用 Python2.7

• 如果已经安装了pyparsing (2.x.x)，操作如下：

    $ pip uninstalled pyparsing
    $ pip install -Iv https://pypi.python.org/packages/source/p/pyparsing/pyparsing-1.5.7.tar.gz#md5=9be0fcdcc595199c646ab317c1d9a709
    $ pip install pydot

• 如果没有安装过pyparsing任何版本，操作如下：

    $ pip install -Iv https://pypi.python.org/packages/source/p/pyparsing/pyparsing-1.5.7.tar.gz#md5=9be0fcdcc595199c646ab317c1d9a709
    $ pip install pydot

1.3 安装 GraphViz

graphviz

Graphviz (Graph Visualization Software) 是一个由AT&T实验室启动的开源工具包，用于绘制DOT语言脚本描述的图形。

• GraphViz不能通过pip安装。 所以，下载对于Mac的正确版本(graphviz-2.36.0.pkg)之后，自行安装。
• 你可能还需要安装xlrd

    $ pip install xlrd

• GraphViz 官网

---

2. 什么是Decision Tree？

决策树(Decision Tree)是基于符号的监督学习方法中的一种。更多相关知识，可以看我另外一篇文章。

---

3. 具体Python实现

• 导入library

import numpy as np
import pandas as pd
from sklearn import tree
from sklearn.feature_extraction import DictVectorizer

• 读取数据
• 使用pandas读取Excel文件，当然pandas还支持多种文件格式的读写，比如：text, sql, json, csv ......
• 使用pd.read_excel() 读取后默认生成 pandas.DataFrame

# read data from excel file as DataFrame
raw_train_data = pd.read_excel("/Users/boyuan/Desktop/TrainingData.xlsx", parse_cols=[1,2,3,4,5,6,7,8,9,10,11])
raw_test_data = pd.read_excel("/Users/boyuan/Desktop/TestingData.xlsx", parse_cols=[1,2,3,4,5,6,7,8,9,10,11])

• 清洗数据

 # If the data has missing values, they will become NaNs in the resulting Numpy arrays.
 # The vectorizer will create additional column <feature>=NA for each feature with NAs

 raw_train_data = raw_train_data.fillna("NA")
 raw_test_data = raw_test_data.fillna("NA")

 exc_cols = [u'adjGross']
 cols = [c for c in raw_train_data.columns if c not in exc_cols]

 X_train = raw_train_data.ix[:,cols]
 y_train = raw_train_data['adjGross'].values

 X_test = raw_test_data.ix[:,cols]
 y_test = raw_test_data['adjGross'].values

• 使用pandas to_dict() 将DataFrame转化成Dict

# Convert DataFrame to dict See more: http://pandas.pydata.org/pandas-docs/dev/generated/pandas.DataFrame.to_dict.html#pandas.DataFrame.to_dict
dict_X_train = X_train.to_dict(orient='records')
dict_X_test = X_test.to_dict(orient='records')

• Encoding categorical features
• 使用Scikit-learn中的DictVectorizer
• DictVectorizer中使用的是OneHotEncoder来实现
• 对于Label可以使用LabelEncoder

vec = DictVectorizer()
X_train = vec.fit_transform(dict_X_train).toarray()
X_test = vec.fit_transform(dict_X_test).toarray()

• 最后，把train data喂给fit()函数，用score()函数检验模型在test data上的表现！

 clf = tree.DecisionTreeClassifier()
 clf = clf.fit(X_train,y_train)

 score = clf.score(X_test,y_test)

• 当然也可以把tree导出到dot文件中，使用GraphViz画图

from sklearn.externals.six import StringIO
with open("文件名称.dot", 'w') as f:
    f = tree.export_graphviz(clf, out_file=f, feature_names= vec.get_feature_names())

在CLI上输入如下命令:
$ dot -Tps tree.dot -o tree.ps (PostScript 格式)
$ dot -Tpng tree.dot -o tree.png (PNG 格式)

• 最后附上两张tree图，分别是没有设置max_depth以及设置max_depth=8的情形

  
  tree_with_8_depth
  tree_without_limit_depth

• 网上有很多流行的数据集，比如简书上的《最流行的4个机器学习数据集》

• 我使用的是UCI上一个判断年工资是否大于50k的数据集

---

结语

• 这是第一次使用Python进行data mining，学习使用Python断断续续也有大半年，从写简单的算法课作业，后来写爬虫，接触Flask写网站， 不断体会到“人生苦短，我用Python”。这当然基于Python非常完善的代码库。
• 没有一种语言是万能的，Python当然也不是，但不得不说在某些领域Python确实作为一种高级语言，可以让你更专注你核心要做的事情， 而非语言本身。