2019.12.02 压缩比和失真率如何平衡

【印象深刻】

• 香农第一定律：任何编码的长度都不会小于信息熵， 也就是通常会大于等于信息熵，当然最理想的就是能等于。
  如果编码长度太短，小于信息熵，就会出现损失信息的现象。
• 所谓失真度，通俗来说，就是压缩前、压缩后的两串信息的差的平方。 也就是说，如果信息没有任何失真，失真率是0。如果信息完全消失了，失真率是10%。
• 世界上很多时候没有最好的技术方案，只能根据场景找到合适的，因此做事的目的性很重要。第一个原则。
• 信息的作用是消除不确定性，那么反过来，丢失了一部分信息，一定会增加不确定性。用的信息少，永远不可能做得和原来一样好，这是第二个原则。
• 除了要考虑目的，考虑到信息数量之外，第三个原则是，在压缩信息时，有时要看应用场景。

以语音压缩为例，在语音通话时，牺牲一定的讲话人的口音，问题不大，因 为它的目的是传递话音中的信息。 但是，在进行声纹识别时，情况就正好相反，那个人说了一句什么话不重要，重 要的是知道他是谁。 因此在后一种应用中，需要保留的是说话人本身的信息，反倒是他说的内容无关。

• 有句谚语，叫做“枪打出头鸟”，其实在信息压缩中，总是遵守这个 原则的，任何与众不同的东西，总是先被压缩掉，因为对那些与众不同的东西做编码， 占用的空间相对太多。

【启发和收获】

• 信息压缩比和失真这是一个平衡的问题，和生活中大多数需要平衡的事情类似，一般需要关注的也是三点：1-目的 2-能承受的损失（失去部分确定性）3- 应用

【行动和改变】

关注平衡论的应用，类似芒格的思维模型，是可以套用到生活中其他的地方

Changelog：

• 阅读吴军《信息论40讲》第12讲，20191202创建