图片来自网络

查理芒格提出跨学科知识以及多元思维模型，在《穷查理宝典》中提到了有100多个思维模型，我们在【查理芒格研习会】中，将会以学习思维模型的方式对查理提到的这100多个思维模型进行深入探讨和学习，会将该模型的原始出处和原理搞清楚，然后在结合自身的工作和生活进行理解和运用，希望能将这100多个思维模型都融入到我们自身的知识结构中。

决策树理论是我们整理学习的第七个思维模型。

本文主要是以摘抄维基百科的内容来讲解决策时理论，以刘润5分钟商学院的决策树案例进行分析解说，前半部分理论相对晦涩难懂，可以跳过直接看后面的案例解说。

---

什么是决策树理论？

决策论中（如风险管理），决策树（Decision tree）由一个决策图和可能的结果（包括资源成本和风险）组成，用来创建到达目标的规划。决策树建立并用来辅助决策，是一种特殊的树结构。决策树是一个利用像树一样的图形或决策模型的决策支持工具，包括随机事件结果，资源代价和实用性。它是一个算法显示的方法。决策树经常在运筹学中使用，特别是在决策分析中，它帮助确定一个能最可能达到目标的策略。如果在实际中，决策不得不在没有完备知识的情况下被在线采用，一个决策树应该平行概率模型作为最佳的选择模型或在线选择模型算法。决策树的另一个使用是作为计算条件概率的描述性手段。

机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表某个可能的属性值，而每个叶节点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。 数据挖掘中决策树是一种经常要用到的技术，可以用于分析数据，同样也可以用来作预测。

从数据产生决策树的机器学习技术叫做决策树学习，通俗说就是决策树。

一个决策树包含三种类型的节点：

    1、决策节点：通常用矩形框来表示

    2、机会节点：通常用圆圈来表示

    3、终结点：通常用三角形来表示

图片来自网络

决策树学习也是数据挖掘中一个普通的方法。在这里，每个决策树都表述了一种树型结构，它由它的分支来对该类型的对象依靠属性进行分类。每个决策树可以依靠对源数据库的分割进行数据测试。这个过程可以递归式的对树进行修剪。 当不能再进行分割或一个单独的类可以被应用于某一分支时，递归过程就完成了。另外，随机森林分类器将许多决策树结合起来以提升分类的正确率。

决策树的优点

相对于其他数据挖掘算法，决策树在以下几个方面拥有优势：

1、决策树易于理解和实现，人们在通过解释后都有能力去理解决策树所表达的意义。

2、对于决策树，数据的准备往往是简单或者是不必要的，其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。

3、能够同时处理数据型和常规型属性。其他的技术往往要求数据属性的单一。

4、是一个白盒模型，如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。

5、易于通过静态测试来对模型进行评测。表示有可能测量该模型的可信度。

6、在相对短的时间内能够对大型数据源做出可行且效果良好的结果。

决策树的缺点

1、对于那些各类别样本数量不一致的数据，在决策树当中信息增益的结果偏向于那些具有更多数值的特征。

2、训练一棵最优的决策树是一个完全NP问题。因此, 实际应用时决策树的训练采用启发式搜索算法例如贪心算法来达到局部最优。这样的算法没办法得到最优的决策树。

3、决策树创建的过度复杂会导致无法很好的预测训练集之外的数据。这称作过拟合，剪枝机制可以避免这种问题。

4、有些问题决策树没办法很好的解决,例如异或问题。解决这种问题的时候，决策树会变得过大。 要解决这种问题，只能改变问题的领域或者使用其他更为耗时的学习算法 (例如统计关系学习 或者 归纳逻辑编程).

5、对那些有类别型属性的数据, 信息增益会有一定的偏置。

决策树的剪枝

剪枝是决策树停止分支的方法之一，剪枝有分预先剪枝和后剪枝两种。预先剪枝是在树的生长过程中设定一个指标，当达到该指标时就停止生长，这样做容易产生“视界局限”，就是一旦停止分支，使得节点N成为叶节点，就断绝了其后继节点进行“好”的分支操作的任何可能性。不严格的说这会已停止的分支会误导学习算法，导致产生的树不纯度降差最大的地方过分靠近根节点。后剪枝中树首先要充分生长，直到叶节点都有最小的不纯度值为止，因而可以克服“视界局限”。然后对所有相邻的成对叶节点考虑是否消去它们，如果消去能引起令人满意的不纯度增长，那么执行消去，并令它们的公共父节点成为新的叶节点。这种“合并”叶节点的做法和节点分支的过程恰好相反，经过剪枝后叶节点常常会分布在很宽的层次上，树也变得非平衡。后剪枝技术的优点是克服了“视界局限”效应，而且无需保留部分样本用于交叉验证，所以可以充分利用全部训练集的信息。但后剪枝的计算量代价比预剪枝方法大得多，特别是在大样本集中，不过对于小样本的情况，后剪枝方法还是优于预剪枝方法的。

---

决策树理论的运用

借用刘润的5分钟商学院中讲解决策树的一个案例，相对比较简单清晰。

作为一个女孩子，你妈妈一直很为你的终身大事担心，今天又要给你介绍对象了。你随口一问：多大了？她说：26。你问：长得帅不帅？她说：挺帅的。你问：收入高不高？她说：不算很高，中等情况。你问：是《刘润.5分钟商学院》学员吗？她说：是，还经常留言呢。你说：那好的，我去见见。

找男朋友，绝对是比找工作、创业、投资公司，更重要的战略决策。这么重要的决策，就可以用到决策树（Decision Tree）这个工具。

什么叫决策树？其实刚才那连珠炮似的问题，就有决策树的基本逻辑在里面。

图片来自刘润商学院

当你问：“多大了？”的时候，其实就开始启动了“相亲决策树”的第一个决策节点。这个决策节点，有两条分支：第一，大于30岁？哦，是大叔，那就不见了；第二，三十岁以下？哦，年龄还可以。然后，你才会接着问“长得帅不帅？”这又是一个决策节点，“不帅到了丑的级别”，那就别见了。如果至少中等，那就再往下，走到第三个决策节点“收入高不高？”。穷？那也不能忍。然后是第四个决策节点“是《5商》学员吗？”。是？太好了，小伙子很上进，那就见吧。

你通过四个决策节点“年龄、长相、收入、上进”，排除了“老、丑、穷还不上进的人”，选出“30岁以下，收入中等，但是很上进，在学习《刘润.5分钟商学院》的帅小伙”。这套像树一样层层分支，不断递进的决策工具，就是“决策树”。

西蒙说：管理就是决策。而决策树，就是一种把决策节点画成树的辅助决策工具，一种寻找最优方案的画图法。

怎么样？一点都不难吧。但是别急，你注意到没有，你的“相亲决策树”有一个不太现实的地方，就是你妈居然能回答你的每一个问题。这让你的决策，变得非常简单直接。现实情况通常不是这样的。

现实情况通常是，你希望赖以决策的依据，是没有确定答案的。比如你如果问你妈：他的脾气好吗？你妈估计会说：哎呀，这个说不好，我只见过一面，感觉八成脾气还不错吧。你再问：他未来会有钱吗？你妈估计会说：这天知道。他那么努力，估计至少有三成概率，未来总会有钱吧？

听完这些回答：80%可能脾气不错，30%可能将来会有钱，你还去不去相亲？这就难决定了。这时，我们就往“决策树”中引入一个“概率”。

这种被概率化的决策树，又叫：概率树（Probability Tree）。

增加了“不确定性”后，应该怎么用“决策树”，或者“概率树”决策呢？

假设满意的最高分是10分，不满意的最高分是-10分，现在你要做一件事情，给“脾气”和“有钱”这两个不确定的条件，所产生的四个组合，诚实的打个分。

如果他真的脾气好，也真的未来很有钱，你有多满意？如果真是这样，那是100%的满意啊！打10分。

如果他的脾气虽然好，但是很不幸，因为运气问题、能力问题，最后真的还是一生穷困，你有多满意？嗯，虽然没钱，但好歹脾气好。这就是命吧。如果真这样，我的满意度是3分。

接下来。如果不幸他的脾气很差，最后还没钱呢？这简直就是渣男啊，-10分！

那如果脾气差，但最后一不小心很有钱呢？这是一个好问题。要不要为了钱忍呢？忍一辈子很难啊，我还是打-5分吧。

图片来自刘润商学院

在80%好脾气，30%会有钱的不确定下，你是见，还是不见呢？如果决定不见，你没有得失，收益是“0”。但是如果见呢？那就有四种可能性：

1、脾气差，但有钱的概率是：20% x 30% = 5%。对这种情况，你打了-5分。也就是这条概率分支，你的收益是：6% x (-5分) = -0.3分。

2、脾气差，没钱呢？概率是：20% x 70% = 14%，收益是：14% x (-10分) = -1.4分。

3、脾气又好又有钱的概率是：80% x 30% = 24%，收益是：24% x 10分 = 2.4分。

4、脾气好，但是没钱的概率是：80% x 70% = 56%，收益是：56% x 3分 = 1.68分。

所以，如果你选择了见，你的总收益是：(-0.3分) + (-1.4分) + 2.4分 + 1.68分 = 2.38分。

你决定见的总体收益是2.38分，不见的收益是0。所以，怎么样？应该赶紧画个妆出门，去相亲。

小结：认识决策树

什么是决策树？决策树，就是一种把决策节点画成树的辅助决策工具，一种寻找最优方案的画图法。

什么是概率树？概率树在决策树的基础上，增加了对条件发生概率的预测，和对结果收益的评估，然后加权平均得到一个“期望值”，用这个期望值，作为依据，辅助决策。