在更进一步的信息论概念介绍之前，先看一下天才选手香农的论文 A Mathematical Theory of Communication —— 在这篇论文中，他展示了如何通过提出一个好的问题，带来了信息论这个学科 —— 他当时提出的问题是：
The fundamental problem of communication is that of reproducing at one point either exactly or ap�proximately a message selected at another point.
但是要注意，他紧接着提出了另外一个更深入的点，这就将如何传递信息，和传递的信息“意义”，进行了分离：
Frequently the messages have meaning; that is they refer to or are correlated according to some system with certain physical or conceptual entities.
These semantic aspects of communication are irrelevant to the engineering problem.
The signifificant aspect is that the actual message is one selected from a set of possible messages.
分别来看：
- 传递的消息（讯息）肯定是有意义的，这个意义一般是指符号本身和真实世界中的物体、或者概念实体之间的关系，但是
- 这种“语义”方面的通讯，并不是一个工程问题 —— 其实是个表达问题、语文问题，所以
- 难点在于，消息本身不被传递错误，就是用于表达的符号，其发送、接受本身没问题
- 比如，文本消息中，错误的拼写或者接收时候的乱码，是工程问题，但是将时态搞错了，是语义方面的问题
- 再比如，语音通话中，你用英语表达不够流利，是语音方面的问题，但是通话过程中的杂音、如何降噪，是工程问题
对于噪音和信号的区分，就带来了如下一个基本的模型：
这样，如果是一个二元信号（典型的比如0/1），噪音干扰使得传递错误的可能性为p，那么问题就变成了一个识别问题：
这个识别问题如何解呢？香农就导入了信息熵等概念，形成了信息论这个学科。
这个学科是不是很难呢？
是的。但是另一方面，重点是要掌握其背后的哲学思考及实际意义，而不要被复杂的数学公式吓到：
以上slides借用了B站SJTU程帆老师的《信息论课程》。
网友评论