简介

从这篇博文中，你可以获得什么？
1、什么是决策树？
2、为什么用信息增益去选择特征？
3、信息增益中的熵又是什么？
我希望能够用比较简单易懂的语言去描述这些问题。让大家对决策树有一个直观的理解，当然在博文中我还会穿插一些大厂的机器学习面试题，如果您发现我有什么内容引用到您的文章，请提醒删除或者引用。或者说您有任何问题欢迎给我留言，我将尽力解答。

熵

直观地解释一下熵是什么，为什么公式要那么定义。

来自知乎的答案.png

数学之美上也给出了很直观地例子

数学之美.png

我想经过这些解释，你应该知道熵是什么啦，越是概率大的时间信息量就越小。越是常见的事情那越不稀奇啦，有的时候会说信息量好大，就是因为它有很多可以揣测的地方，包含的内涵多呀。

条件熵
建议大家阅读下面的博文
https://mp.weixin.qq.com/s/v7-hhDVJUQKgNECcgab1qg