信息熵与基尼指数的关系

序

熵的概念中有信息熵、信息增益、信息增益比、基尼指数，这些统统作为决策树分裂的依据，其中，我们需要知道信息熵与基尼指数的关系。

信息熵与基尼指数的关系

1. 首先看二者的定义：

   
   
   

   将 f(x) = −lnx 在 x = 1 处进行一阶泰勒展开（忽略高阶无穷小）：

   
   
   因此，熵可近似转化为：
   
   
   

   基尼指数是信息熵中﹣logP 在P = 1处一阶泰勒展开后的结果！所以两者都可以用来度量数据集的纯度，用于描述决策树节点的纯度！

转载注明：https://www.jianshu.com/p/75518e6a5c64