美文网首页
信息论

信息论

作者: DestinyBaozi | 来源:发表于2018-10-15 20:28 被阅读0次

信息熵

  熵是接收的每条消息中包含的信息的平均量，被称为信息熵、信源熵、平均自信息量，为不确定性的量度。简而言之，越是确定的事，信息熵小，而越不确定的事信息熵越大。
  随机变量X的熵值H定义如下，

  H(X) = -\sum_{i}P(x_{i})log_{b}P(x_{i})

信息增益

  信息增益是指在原信息的基础上，知道新信息的条件下，信息确定性的提高。例如，一个人学习能力强不强的信息熵为0.9，而一个人自律性强不强的信息熵为0.3，则自律性对学习能力的增益为0.9-0.3=0.6，理解为在知道自律性的情况下，对于一个人学习能力的判断更加准确，也就是信息熵的减小（纯度越高）。

相关文章

网友评论

      本文标题：信息论

      本文链接：https://www.haomeiwen.com/subject/edkqzftx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|信息论|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！