笔者也是初学，看过别人的博客若干和视频，初步记录下决策树的核心思想以便日后复习，暂时不涉及具体例子。很多细节地方后续再详细说明...
核心内容：根节点如何选择 与 判断根节点的3个公式。
（也就是说我决策时候先根据哪个属性做判断，3个公式告诉了你如何选出做判断的那个属性，文章重点就是这个，over）
一.分类器：给定一个数据集（训练集Training Set+测试集Test Set）
1.每个记录包含一些属性Attribute，其中一个属性称之为类class（如下面举的例子：标题，关键字，发件人信息都是属性，判断是不是 垃圾邮件 就是一个类，它也是一个属性）
2.找到一个从多个属性推导出类的函数，称之为模式model
目的：该模式可以用于尽量准确地预测其他数据。
举例：根据邮件标题、正文关键字、发件人等信息推测是否为垃圾邮件。（注：标题，关键字，发件人信息就是3个不同的属性）
3.分类器的一些技术：
决策树，基于策略的分类，人工神经网络，贝叶斯分类与贝叶斯网络，支持向量机
二.决策树
（1）
表格第一行的属性：退货，结婚状况，收入情况 用这3个属性来推断 有无欺诈行为
这4个都是属性，欺诈行为算是上边提到的类class。（注：id这个属性是用于编号，对实际决策没用实际意义，忽略）
左边是表格，右边就是决策树的模型：根节点是退货，根据表格退货属性下面有3个yes的数据，每条数据后面的欺诈行为都是no，也就是退货的顾客都是没有欺诈行为的。那么没退货的再根据婚姻状况来判断是否有欺诈行为。可以从表格中的数据看到，没退货但是婚姻状况为已婚的没有欺诈行为。单身和离婚的再根据税后收入判断，少于80k的无欺诈，大于80k的有欺诈行为。（补充：分不下去同一类了）
图一就是一个训练好的模型，可以拿一组新的数据放入这个树模型判断顾客是否有欺诈行为
（2）
同样左边表格数据不变，但是根节点的属性变了，以是否为结婚这个属性来作为根节点先来判断。
那么问题来了，如何判断哪个属性为根节点呢？
先来看推导决策树的算法：
Hunt（最早），CART，ID3，C4.5等等，不用纠结他们的名字，原理都一样！
(3)
图3注意第二句中的 类值相同，例如之前根据 退货 属性，如果退货yes，欺诈行为都是no，这就符合图3的第二句。如果退货no，这些数据的类属性结果既有yes又有no，就要重新找属性来判断。
所以，决策树算法都是基于局部及节点来判断，如何局部最优，之前图1和2都形成了决策树，哪个更好呢。所以要引入信息熵的概念：
（1）信息熵
信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。
直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。
假如事件A的全概率划分是（A1,A2,...,An），每部分发生的概率是(p1,p2,...,pn)，那信息熵定义为：
log通常以2为底数，所以信息熵的单位是bit。以上2个公式是一样的。
举个简单的例子就是：
1）假如川普的选举获胜概率是0.5，希拉里也是0.5，那么带入熵的定义计算
info=-（(1/2)log(1/2)+(1/2)log(1/2)）=1。
2）假如川普的选举获胜概率是0.99，希拉里也是001，那么带入熵的定义计算
info-（0.99*log(0.99)+0.01*log(0.01)）=0.067，比1要远小。
什么意思呢，例子1就是给你的获胜数据概率都是0.5，你根本判断不了到底谁选举成功可能性会大。
例子2很明显我们就知道川普获胜大。也就是信息熵越大，越不好判断接下来的结果，那么我们就可以计算属性的信息熵，熵值小的属性就好拿去当结点。但是这里多了一个步骤。
Info（D）是一开始所有数据（总系统）的信息熵，减去每个属性（子系统）信息熵，结果为增益。info（D）是定值，每个属性的信息熵越小，增益就越大。该属性就适合做结点去做决策。
用信息熵算就是ID3
（2）信息增益率
正是基于此，ID3后面的C4.5采用了信息增益率这样一个概念。信息增益率使用“分裂信息”值将信息增益规范化。分类信息类似于Info(D)，定义如下：
这个值表示通过将训练数据集D划分成对应于属性A测试的v个输出的v个划分产生的信息。信息增益率定义：
选择具有最大增益率的属性作为分裂属性。
用增益率算就是C4.5
（3）Gini指标
Gini指标在CART中使用。Gini指标度量数据划分或训练元组集D的不纯度，定义为：
基尼指标算就是CART
先写到这里......后续再改进和添加代码
网友评论