绪论与概览 —— 读《信息论基础》（一）

首先，信息论回答什么问题：

信息论解答了通信理论中的两个基本问题：临界数据压缩的值（答案：熵H）和临界通信传输速率的值（答案：信道容量C）。

好的，还是没理解，简直是抄作业都不会（O(∩_∩)O哈哈~），先记下了。

信息论和其他学科的关系：

有人认为信息论是通信理论的一个组成部分，但我们将竭力阐明信息论远不止于此。

但整体的阐释肯定超出了第一站的范畴了，所以作者先放了一张图：

这简直是信息论帝国主义了，其他都围着转 —— 也有可能是正确的哈，万物皆比特，万物皆信息。

比如，看信息论与通信理论的关系：

如果将所有可能的通信方案看成一个集合，那么今天的信息论描绘了这个集合的两个临界值。。。

后续讲到信息熵的定义之后可能更加清楚一些。

再比如，信息论与哲学：

奥卡姆曾经说过“因不宜超出果之所需。”其意思是“最简单的解释是最佳的”。

William of Occam said “Causes shall not be multiplied beyond necessity,” or to paraphrase it, “The simplest explanation is best.”

再比如，信息论与经济学（投资学）以及计算理论方面，都有关系 —— 这些等到后面，对信息论中的概念有了清晰的的定义之后再来看吧。