最近在看《数学之美》，很有意思。
为什么现在我们使用的是十进制？
因为我们有十个手指头？是的，答案就是这个。
难道没有其他进制？
有，没有被大众接受，慢慢消亡了。
为什么不是20进制，还有脚趾头呀。
还真有，玛雅文化就是20进制。
但是20进制太难了，多数人算不来。
比如我们中国人，大部分都能背诵99乘法表，但是要是20以内的乘法表，就太难了。
还有一个趣闻，玛雅文化中，一个世纪是400年，所以按照玛雅文化的纪年算法，2012年是所处世纪的最后一年，但是不知为何被人们误传为世界末日了。
我们人类的语言，其实也是一个通信的过程，涉及到信息编码，信息传输，信息解码。
文字的发展过程分为几个阶段，象形，数字的分离，拼音。
人工智能中语音识别的发展，分为几个阶段，通过语法规则解释，通过概率论解释。
最终确定通过概率论解释。
信息熵的概念，信息量的大小，如何判定，取决于不确定性的大小，不确定性越大，信息量越大。
最近在看《数学之美》，很有意思。 为什么现在我们使用的是十进制？ 因为我们有十个手指头？是的，答案就是这个。 难道...
信息增益 首先明确一点，信息熵是信息量的期望！期望！期望！（各种信息熵都是如此，像熵、条件熵、信息增益）熵：表示随...
本文的目录组织如下： 【1】自信息【2】熵（香农熵）【3】联合熵【4】条件熵【5】互信息（信息增益）【6】 熵、联...
写在开始 在开始决策树算法之前，我们需要准备一些信息论的知识： 信息熵 条件熵 信息增益 交叉熵 相对熵 信息熵 ...
信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度） 信息熵：信息熵是度量样本集合纯度常用的一种指标。在信息论中...
信息熵（香农熵） 1948年，香农提出了 “信息熵（entropy）”的概念信息熵是消除不确定性所需信息量的度量，...
信息熵是什么？机器学习入门：重要的概念---信息熵（Shannon’s Entropy Model）信息熵信息论中...
信息熵: 信息熵描述信息源的不确定程度，信息熵越大、越不确定. 信息熵公式: 例子: 假设中国乒乓球队和巴西乒乓球...
熵的定义如下： 互信息 = H(D) - H(D|A) 信息增益 = 经验熵 - 经验条件熵； 互信息和信息增益理...
下面这几个熵都是描述联合分布中的两个变量相互影响的关系。 联合信息熵 联合信息熵的定义如下： 条件信息熵 条件信息...
本文标题：2020-08-04(信息熵)
本文链接：https://www.haomeiwen.com/subject/vepirktx.html
网友评论