百科事典棒

在引入具体地数学讨论之前，我们先来聊一个好玩的脑洞。这个脑洞据说出自村上春树的《世界尽头与冷酷仙境》，后来几经辗转被写进《天才在左，疯子在右》这本书里。脑洞假定了存在某个外星文明掌握了非常高的科技，外星人来到地球后将地球上的所有知识进行数字编码得到一个很长的数字串，在数字串最前面加上一个小数点，那么这串数字就会变成一个介于0-1之间的实数，外星人只要优雅地拿出一根牙签，将牙签的长度视为1，在这个实数对应的点的位置做一个记号，便可以将地球文明的所有信息记录并带回自己的星球做研究。
这是一个蛮有趣的脑洞，它引出这样一个问题：我们能否利用实数的无限性，来传递任意长度的信息呢？

香农定理

敏锐的同学可能已经发现，上文中的脑洞的关键漏洞在于，我们无法做到无限的精度。在低精度下我们可以忽略很多误差，但是随着精度的升高，那些误差会变成足以改变信息的误会。
香农定理，就是在探究，在一定的误差范围下，能够传输的不会因误差产生误会的信息最多能有多少。
我们将这个牙签的长度设为256，假设误差不超过0.5，那么，我们可以将牙签分成256段，从到, 这样我们就可以用这个牙签传输8bit的数据，只要在这个数据对应的二进制的那一段的正中间下刀即可--我们的误差限制保证了我们想要下刀的地方和实际下刀的地方一定在同一段，也就是所谓的“误差不足以产生误解”。
如果将牙签长度看做总功率，误差的总波动范围看做噪声功率，那么信息功率与噪声功率的比例就是127，将信噪比写作S/N, 则我们一次信号传输的信息量最多是bit,然后香农公式就出来了。
当然，香农公式的严格证明比这个复杂的多，这里只是提供一个非常直观浅显的解释。