好的网络参考

决策树(DTs)是一种用于分类和回归的非参数监督学习方法。参见下面网页。
决策树

具体实践中，到底选择哪个特征作为当前分裂特征，常用的有下面三种算法：
ID3：使用信息增益g(D,A)进行特征选择
C4.5：信息增益率 =g(D,A)/H(A)
CART：基尼系数
一个特征的信息增益(或信息增益率，或基尼系数)越大，表明特征对样本的熵的减少能力更强，这个特征使得数据由不确定性到确定性的能力越强。
作者：huahuazhu
来源：CSDN
原文：https://blog.csdn.net/huahuazhu/article/details/73167610
版权声明：本文为博主原创文章，转载请附上博文链接！

决策树利用scikit-learning

决策树的一些优势是:

便于说明和理解，树可以可视化表达；
需要很少的数据准备。其他技术通常需要数据标准化，需要创建虚拟变量，并删除空白值。
使用树的成本是用于对树进行训练的数据点的对数。
能够处理数值和分类数据。其他技术通常是专门分析只有一种变量的数据集。
能够处理多输出问题。
使用白盒模型。如果一个给定的情况在模型中可以观察到，那么这个条件的解释很容易用布尔逻辑来解释。相比之下，在黑盒模型中(例如:在人工神经网络中，结果可能更难解释。
可以使用统计测试验证模型。这样就可以解释模型的可靠性。
即使它的假设在某种程度上违反了生成数据的真实模型，也会表现得很好。

决策树的缺点包括:

决策树学习可能会生成过于复杂的树，不能代表普遍的规则，这就称为过拟合。修剪(目前不支持的)机制，设置叶片节点所需的最小样本数目或设置树的最大深度是避免此问题的必要条件。
决策树可能不稳定，因为数据中的小变化可能导致生成完全不同的树。这个问题通过在一个集合中使用多个决策树来减轻。
实际的决策树学习算法是基于启发式算法的，例如在每个节点上进行局部最优决策的贪婪算法。这种算法不能保证返回全局最优决策树。通过在集合学习者中训练多个树，可以减少这种情况，在这里，特征和样本是随机抽取的。
有些概念很难学习，因为决策树无法很容易地表达它们，例如XOR、奇偶性或多路复用问题。

分类

决策树分类器（DecisionTreeClassifier）是一个能够在数据集上执行多类分类的类。
与其他分类器一样，决策树分类器以输入两个数组作为输入:数组X，稀疏或密集，

决策树python
信息增益(information gain)，表示两个信息熵的差值。
首先计算未分类前的熵，总共有8位同学，男生3位，女生5位。
熵（总）=-3/8log2(3/8)-5/8log2(5/8)=0.9544
接着分别计算同学A和同学B分类后信息熵。
同学A首先按头发分类，分类后的结果为：长头发中有1男3女。短头发中有2男2女。
熵（同学A长发）=-1/4log2(1/4)-3/4log2(3/4)=0.8113
熵（同学A短发）=-2/4log2(2/4)-2/4log2(2/4)=1
熵（同学A）=4/80.8113+4/81=0.9057
信息增益（同学A）=熵（总）-熵（同学A）=0.9544-0.9057=0.0487
同理，按同学B的方法，首先按声音特征来分，分类后的结果为：声音粗中有3男3女。声音细中有0男2女。
熵（同学B声音粗）=-3/6log2(3/6)-3/6log2(3/6)=1
熵（同学B声音粗）=-2/2log2(2/2)=0
熵（同学B）=6/81+2/8*0=0.75
信息增益（同学B）=熵（总）-熵（同学B）=0.9544-0.75=0.2087

按同学B的方法，先按声音特征分类，信息增益更大，区分样本的能力更强，更具有代表性。
以上就是决策树ID3算法的核心思想。
作者：a_achengsong
来源：CSDN
原文：https://blog.csdn.net/csqazwsxedc/article/details/65697652
版权声明：本文为博主原创文章，转载请附上博文链接！

简单决策树的可视化

机器学习入门