美文网首页
信息熵+交叉熵+KL散度

信息熵+交叉熵+KL散度

作者: zuomeng844 | 来源:发表于2020-04-08 17:08 被阅读0次

    的本质是香农信息量log\frac{1}{p} ,被用于描述一个系统中的不确定性。

    在决策树算法中的信息熵:H(P) = -\sum_{i=1}^np_{i} logp_{i}

    在反向传播算法中衡量两个分布pq差异的交叉熵:     H(p,q )=-\sum_{i}^n p logq

    KL散度(相对熵): D_{KL}(p∣∣q)=H(p,q)−H(p)=
\sum_{i}^n [p_{i}logp_{i} -  p_{i}logq_{i}]

    相关文章

      网友评论

          本文标题:信息熵+交叉熵+KL散度

          本文链接:https://www.haomeiwen.com/subject/npztmhtx.html