人工智能通识-科普-信息增益-3

作者: zhyuzh3d | 来源:发表于2019-04-21 22:44 被阅读25次

欢迎关注我的专栏( つ•̀ω•́)つ【人工智能通识】

女生是如何选择配偶的？利用信息熵帮助我们找到其中的规律。

信息增益公式

信息增益（IG，Information Gain）表示某个消息（X）能够消除系统（Y）中不确定性的数量，最常用的计算方法是用没有这个消息之前系统的信息熵减去已知这个消息后系统的信息熵，即：

$IG(Y|X)=H(Y)-H(Y|X)$

某个消息的信息增益越大，就表示这个消息对最终结果的影响越大。

信息熵的计算公式是每种可能性概率P(x)的对数的概率加权和，即：

$H(Y)=-\sum _{y \in Y }P(y)\log P(y)$

利用信息熵公式可以分别求出某个条件值对应的信息量 $H(Y|X=a)$ ，然后用概率加权就和就得到了条件熵 $H(Y|X)$ ：

$H(Y|X)=-\sum _{x \in X }P(x)H(x)$

更多内容请参考信息增益-2

女生择偶标准数据

我们假设女生选择老公主要受四个因素影响：颜值、身高、性格、财富。假设我们有一组数据如下：

这个数据纯属虚构，不代表任何实际情况。

四个因素我们也叫做四个特征，但是哪个特征对最终“嫁与不嫁”影响最大呢？
感性上说，哪个特征与嫁否一栏重合度高，那么影响就大。但是如果我们需要深入评估每个特征对结果的影响程度，那么就不能只靠感性，而应该使用更加科学的数学方法。

系统的信息熵

我们先只看没有任何已知条件的情况下，“嫁否”的随机性，这就像随机扔硬币的正反两面数据：

共12次，6次嫁6次否，各占一半，和均匀硬币的结果一样，系统的信息熵是：

$\begin{align} &H(Y)\\ &=-\frac{6}{12}\times log\frac{6}{12}-\frac{6}{12}\times log\frac{6}{12}\\ &=1\\ \end{align}$

颜值的信息增益

如果我们知道了一个人的颜值高低，那么我们就应该更有把握猜测女生是否会选择嫁给这个人。这里面确定性的增加，就是颜值特征的信息增益。

这里是颜值和嫁否的对照表：

高颜值共8个，{1,3,5,6,7,9,11,12}，对应的是{否，嫁，否，否，嫁，嫁，否，否}，即5否3嫁。
低颜值共4个，{2,4,8,10}，对应的是{否，嫁，嫁，嫁}，即1否3嫁。

那么分别求出高、低两种颜值分别对应的信息熵：

$\begin{align} &H(Y|颜值=高)\\ &= -\frac{5}{8}\times log\frac{5}{8}-\frac{3}{8}\times log\frac{3}{8}\\ &= 0.4238+0.5306\\ &= 0.9544\\ \end{align}$

$\begin{align} &H(Y|颜值=低)\\ &= -\frac{1}{4}\times log\frac{1}{4}-\frac{3}{4}\times log\frac{3}{4}\\ &= 0.5+0.3113\\ &= 0.8113\\ \end{align}$

再把8个高颜值和4个低颜值的信息熵合并，得到颜值条件熵：
$\begin{align} &H(Y|颜值)\\ &= \frac{8}{12}\times H(Y|颜值=高) +\frac{4}{12}\times H(Y|颜值=低)\\ &= \frac{8}{12}\times 0.9544 +\frac{4}{12}\times 0.8113\\ &= 0.9067\\ \end{align}$