第六章：信息的度量和作用

作者: dreampai | 来源:发表于2019-01-29 11:23 被阅读0次

第六章信息的度量和作用
第六章：信息的度量和作用
导论：信息的作用和度量方法
数学之美——信息度量和作用
第6章信息的度量和作用
数学之美--信息的度量和作用--信息熵，条件熵和交叉熵
12-分类算法-决策树、随机森林
读「统计学七支柱」——Information
信息的度量——熵
信息的度量——熵

信息量等于不确定性的多少。

image.png
变量不确定性越大，熵越大。

image.png
条件熵

image.png
信息的作用在于消除不确定性，自然语言处理大量问题就是寻找相关的信息。
互信息：
互信息的概念作为两个随机事件“相关性”的量化度量。
互信息的取值在 0 和 min(H(X),H(Y)) 之间的函数，当 X 和 Y 完全相关时，它的取值为1，当二者完全无关时，它的取值为 0.

image.png

image.png
相对熵
相对熵也用来衡量相关性，但和变量的互信息不同，它用来衡量取值为正数的函数的相似性。

image.png
总结：

信息熵
条件熵
相对熵
复杂度：直接衡量模型的好坏，在给定上下文的条件下，句子中每个位置平均可以选择的单词数量。一个模型的复杂度越小，每个位置的词就越确定。模型越好。

第六章信息的度量和作用
我们常说信息有用，它的作用如何客观、定量体现呢？一本《史记》有多少信息量？1984年，香农在他著名的论文“通信...
第六章：信息的度量和作用
信息量等于不确定性的多少。信息熵条件熵相对熵复杂度：直接衡量模型的好坏，在给定上下文的条件下，句子中每个位...
导论：信息的作用和度量方法
——吴军《信息论40讲》读书笔记作为导论部分，主要介绍信息的作用，它是如何被度量的，为什么能起到四两拨千斤的作用...
数学之美——信息度量和作用
信息量:不确定性多少度量信息量用比特表示:信息量的比特数与所有可能情况的对数函数有关汉子等概率时，大约需要13...
第6章信息的度量和作用
以下内容学习、摘录自《数学之美》我们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如，一本50多...
数学之美--信息的度量和作用--信息熵，条件熵和交叉熵
保留初心，砥砺前行这一章节讲解的是关于信息的某些度量。我们常常说信息很多，或者信息较少，但却很难说清楚信息到底...
12-分类算法-决策树、随机森林
决策树生活中的决策树模型：显然：判断依据的重要性从前往后越来越小信息的度量和作用在不知道任何信息的情况下猜...
读「统计学七支柱」——Information
支柱二：Information Information，信息，本文指的是数据的信息度量——不同数据集的比较信息和随...
信息的度量——熵
问题的引出：我们常说信息有用，那么它的作用是如何客观、定量的体现出来的呢？信息用途的背后是否有理论基础呢？对于...
信息的度量——熵
信息熵：用来衡量事件不确定性，不确定性越大，熵越大。对任意一个随机变量X，其熵定义为：条件熵：有两个随机变量X...