我们所谓的知识，大抵可分为专门知识和知识的知识（即元知识）两类。前者可以即时解决问题，具有很强的专门性，决定了你现在能不能做到；而后者则更抽象，不能用于解决具体问题，却决定了你能多快，多深地解决问题，它决定了你的高度。《易经》说“形而上者谓之道，形而下者谓之器”，两者不可偏废，所谓道器相济。我们看到的书，能做到道器相济这四个字的不多，这本书是一本。
这个书评是我研究生的时期写的，如今十多年后再拿出来，自觉仍不过时。经典总是如此。
Mackay在我心中是一个多才多艺的天才，他重新发现了LDPC码的价值，使得这一具有革命性影响的信道码没有沉没在故纸堆中。这本书神奇地把数据压缩、通信理论、神经网络甚至是分布式算法这些我们在多门课程中学习的东西统一到了统计尤其是Bayesian统计的大框架下来，使得我们的知识不再支离破碎，相互孤立，俨然成为一个互相联系，相互依存，且服从于一个大的原则的有机整体，这才是信息论的独特魅力所在。信息论是一个从生活中来，在生活的各个角落（如那些绕人的智力题，那些关于生命的进化的问题）都有有趣的体现的科学，而不仅仅是那些枯燥的公式。公式只是形式，最重要的是公式后面的内容，只有明白了内容，你才会发觉那些公式是那么地有趣，那么地美，否则他们对你而言只会是应付考试时的烦人的必背点，很遗憾的是，很多时候，我们从学校教育中学到的是后者。
我觉得在信号处理、计算机算法等方面需要进一步深造的研究生需要读一读它，它把我们在本科学到的东西串起来，让你恍然大悟：原来我学的这些东西都有这些门道啊；进一步地，顺其自然地深化这些东西，这对于研究生是非常重要的一点。我们在做项目、搞科研的过程中，如果对一个方法论的东西有比较深的体会，对于解决问题是非常重要的，毕竟项目中的问题没有标准答案，没有解题技巧，它更需要这些软实力。
这本书背后的统计、Beyesian思想是目前信号处理的主流思想，也是维纳所创造的控制论之后的新的方法论。在网络飞速发展、技术日新月异的今天，越来越多的数据出现了，对这些数据的处理和信息提取，已经成为一个新的任务。传统的以Weiner为领军人物的数据处理思路，是以模型为背景的。即我们在处理任何问题时首先都需要假设这些数据服从某一个模型（最常用的是高斯分布），然后对它进行参数估计等分析，再来进行滤波等信号变换；随着数据量的增多以及数据来源的不可控，数据越来越偏离模型，这个时候“弱假设”可能成为更好的办法，Bayesian方法为弱假设条件下的数据处理提供了一套不错的方法。
我们站在这个时间点，回望过去，展望未来，Bayesian方法似乎仍将是唯一的迷航明灯。
网友评论