今天开始进入决策树的算法部分，首先介绍一下这部分涉及到的知识点。
一、大纲
1、信息熵
决策树在生成过程中，对于评判是否要对树进行划分的关键指标。即树生成时的决策根本。
2、决策树
之前提过KD树的划分标准。02 KNN算法 - KD Tree KD树是基于一个划分的标准(中位数)，最后构建起了整个KD树。决策树同样也是一个树形结构，同样需要某些决策指标来构建起决策树。最后帮助我们实现回归或分类的目标。
3、决策树优化
和KD树一样，决策树模型生成以后同样会存在欠拟合和过拟合的问题。如何解决这些问题就是决策树优化需要考虑的。
4、剪枝
防止决策树过拟合的过程，实际生产过程中剪枝的操作用的很少，但面试可能会提问，了解即可。
5、决策树可视化
导入一些新的模块，最后将决策树展现在用户面前。
二、决策树的直观理解
根据一个人是否有房产、婚姻情况、年收入情况判断一个人是否有能力偿还债务。
根据样本构建出一个模型：
决策树
相比Logistic模型、回归模型中参数的理解，决策树是一个解释性更强的模型。
三、比特化
数据：BACADCBD...
这里ABCD出现的概率都是1/4，等概率。
即P(X=A) =P(X=B) =P(X=C) =P(X=D) =1/4
令A-00 B-01 C-10 D-11（等概率，用两个比特位表示4个变量即可）
BACADC = 01001011100111
E = 1×1/4 *4 = 1
(每个变量占用一个比特位，出现概率是1/4，一共4个变量，平均每个变量占1个比特位)
如果X变量出现概率不同：
即P(X=A)=1/2; P(X=B) = 1/4; P(X=C) =P(X=D) =1/8;
用更少的比特位描述出现概率更大的事件，能够让总的比特位数量最少：
令A-0 B-10 C-110 D-111
E=1×1/2 + 2×1/4 + 3×1/8 + 3×1/8 = 1.75
平均每个变量占1.75个比特位。其他任何一种编码方式最终得到的期望都会大于1.75，耗费了多余的计算机资源。
还可以用下面的公式表示平均每个变量占用的比特位数量：
p
-log2p
所以，m个变量在不同的出现概率p1~pm时，平均每个变量占用的比特位公式如下：
四、信息熵
信息熵是描述一个信息量的指标。如果一个事件发生的概率越大，那么认为该事件蕴含的信息越少。
当一个事件百分百确定的时候，我们得不到其他推论。那么认为信息量为0。
只有当事件的出现存在概率性，说明有额外的信息影响事件发生，那么针对这些信息我们才需要推理判断 。
信息熵是系统有序程度的度量，一个系统越是有序，信息熵就越低。信息熵就是用来描述系统信息量的不确定度。
信息熵 = 比特化随机变量X占用比特位的数学期望
H(X)是随机变量X的信息熵
五、条件熵
回顾H(X)的概念，并看下面的例子：
令L(S) = -P(S) × log2(S)
H(X) = L(X=数学) + L(X=IT) + L(X=英语)
= -0.5 × log2(0.5) - 0.25 × log2(0.25) - 0.25×log2(0.25)
= 0.5 + 0.5 + 0.5 = 1.5
H(Y) = L(Y = M) + L(Y = F)
= -0.5 × log2(0.5) - 0.5 × log2(0.5)
= 0.5 + 0.5 = 1
H(X, Y) = L(X=数学, Y=M) + L(X=IT, Y=M) + L(X=英语, Y=F) +
L(X=数学, Y=F) = -0.25 × log2(0.25) × 4 = 2
看明白上面的例子后，接下来引入条件熵的概念：
给定条件X的情况下，随机变量Y的信息熵就是条件熵。
给定条件X的情况下，所有不同x值情况下，Y的信息熵的平均值，叫做条件熵。
当专业X为数学时，Y的信息熵的值为：H(Y|X=数学)
怎么计算H(Y|X=数学)？先把数学相关的项提取出来：
现在姓别出现的概率都是2/4，根据公式：
p
-log2p
平均每个元素占比特
-log2(0.5)=1：单个性别的信息熵。
H(Y|X=数学) = -0.5 × log2(0.5) × 2 = 1
H(Y|X=数学) 是 H(Y|X) 的一部分，H(Y|X)还包括H(Y|X=IT)、H(Y|X=英语) 根据上述的方式能够依次计算出H(Y|X=IT)、H(Y|X=英语) 的值。
回顾一下定义：
给定条件X的情况下，所有不同x值情况下，Y的信息熵的平均值，叫做条件熵。
条件熵
条件熵例子
以下log表示log2
条件熵 H(X/Y)
= H(X/Y=M)×P(Y=M) + H(X/Y=F)×P(Y=F) 即加权平均熵
= [L(X=数学/Y=M)+L(X=数学/Y=M)]×P(Y=M) + H(X/Y=F)×P(Y=F)
= [-0.5 × log(0.5) × 2] × 0.5 + H(X/Y=F)×P(Y=F)
= 0.5 + H(X/Y=F)×P(Y=F) = 0.5 + 0.5 = 1
= H(X, Y) - H(Y)
条件熵 H(Y/X)
= H(Y/X=数学)×P(X=数学)+H(Y/X=IT)×P(X=IT)+H(Y/X=英语)×P(X=英语)
= [-0.5 × log(0.5) × 2] × 0.5+H(Y/X=IT)×P(X=IT)+H(Y/X=英语)×P(X=英语)
= 0.5 + 0 + 0 = 0.5
= H(X, Y) - H(X)
条件熵的另一个公式： H(Y/X) = H(X, Y) - H(X)
事件(X,Y)发生所包含的熵，减去事件X单独发生的熵，即为事件X发生前提下，Y发生“新”带来的熵。
结合概率论中的Venn图思考上面公式的意义：
最后给出一个推导公式：
网友评论