《信号与噪声》| 陈朝解读

《信号与噪声》| 陈朝解读

27:31 25.2 MB

建议WiFi环境下播放

关于作者

本书的作者纳特·西尔弗是一位预测大师，他在自己的网站“538”上，经常对美国的体育比赛和政治选举进行预测，准确率非常高。根据他的方法，在2008年的美国总统大选中，成功预测了50个州中的49个结果；而在2012年大选中，他的结果则是50全中。他曾经负责《纽约时报》数字新闻报道，如今加入美国有线电视联播网 ESPN，继续从事数字新闻。

关于本书

这本书关注的是人类的预测能力。所谓“信号”就是真相，而“噪声”是掩盖了真相的虚假信息，我们说的预测其实是从噪声之中分辨信号的过程。从天气预报到买卖股票，我们每天都在预测未来，只不过在大多数领域，人们的预测能力并不高。在《信号与噪声》中，从金融危机到天气预报，从贝叶斯方法到超级计算机，作者分析了多个领域，对于如何提升预测能力给出了自己的建议。

核心内容

这本书讲述了关于精确预测的种种方法和教训。作者通过金融危机、天气预报、地震、气候变化等例子，分析了人类预测的能力和局限，推荐了贝叶斯方法等预测手段。对于预测中遭遇的挫折提出了忠告和建议，可以帮助我们思考如何提升预测能力。

点击查看大图，保存到手机，也可以分享到朋友圈

前言

你好，欢迎每天听本书。本期音频为你解读的是《信号与噪声》。听这个名字好像是讲信息技术的书，其实它说的是预测这件事。所谓“信号”就是真相，而“噪声”是掩盖了真相的虚假信息，我们说的预测其实是从噪声之中分辨信号的过程。

我们每天都在预测未来，从天气预报到买卖股票，其实都是在做出预测，只不过在大多数领域，人们的预测能力实在不敢恭维。《信号与噪声》这本书就是在研究怎么正确地做出预测。从金融危机到恐怖袭击，从德州扑克到国际象棋，预测准确能让我们一夜暴富，预测失败则可能是生灵涂炭的大灾难。人们从求神拜佛到求助科学，动用了各种办法预测，哪些办法真的有效呢？怎么才能提高预测的准确性呢？

本书的作者纳特·西尔弗就是一位预测大师，他分析了人类在多个领域的预测能力，给出了非常重要的建议。他都预测过什么呢？他在自己的网站“538”上，经常对美国的体育比赛和政治选举进行预测，准确率非常之高。根据他的方法，在2008年的美国总统大选中，成功预测了50个州中的49个结果；而在2012年大选中，他的结果则是50全中。有着这样骄人的战绩，人们自然想知道他有什么手段。其实，本书中的办法并不神秘，但一定能引人深思。

我会分四个重点来为你解读这本书。第一，为什么预测会失败？第二，为什么预测动态系统如此困难？第三，西尔弗推荐用什么办法进行预测？最后，我们来思考这些预测方法怎么应对当今时代的重大问题。

第一部分

我们先进入第一部分，看看预测为什么会失败。

错误的预测经常在媒体上出现，像是美国的总统大选、球队的输赢等等。在最终结果出来之前，听那些预测好像也挺靠谱的，但是结果往往不尽如人意。那为什么会出现这个情况呢？

作者用了一个大家耳熟能详的事件来举例子，就是2008年的金融危机，从这个例子中，你也能看出其他预测系统容易出现的漏洞。当年的这场危机给社会经济带来了严重冲击，不仅在美国造成很多人失业甚至倾家荡产，也冲击了世界经济。导致这场危机的关键就在于，人们对房地产贷款市场的风险预测失败，而且对其中埋下的隐患视而不见。

这是怎么回事呢？美国的房地产价格在二战后多年都相对平缓，没有多少投机的空间，但是到了九十年代，房价开始飞涨，买房炒房成了一门投机的生意，吸引了很多人。在这种环境下，原本是帮助人们买房居住的购房贷款，性质发生了变化。大家产生了这样一种心态：只要现在能凑钱买房，就算欠债也无所谓，未来通过房子升值来还贷还能赚上一笔，但是如果不尽快入手房产，就和发财无缘了。

面对大量希望贷款的人群，房贷本身也在改变。过去发放贷款要看一个人能否还贷，如今却放宽门槛，甚至出现过造假帮助人们申请贷款。这些容易违约的房地产债务风险很高，但是又被金融机构打包成了各种复杂的衍生品从中获利。总之，在好几年的时间里，大家不断借钱买房，哪怕还贷困难，哪怕多付利息，金融机构也乐于把钱尽快借出去，几年下来就形成了一个次贷市场。所谓次贷，简单来说，就是质量比较“次”的贷款，也就是那些借给低收入、低信用借款人的贷款。这其中蕴含的风险应该显而易见，但美国的金融机构和政府机关却没有提前发现，在大家的预测当中，房价是会不停上涨的。

为什么这么多人的预测都失败了呢？作者分析了三个因素。

首先，是让人信服的权威机构失去了作用。在金融市场上，作为“看门狗”的评级机构，它们的工作就是对债券股票的风险打分。它们本来应该是最热衷于精确预测市场风险的人，有着“金融侦探”一样的能力，能对可能存在的风险明察秋毫，也能对各公司利益中立客观，这样才可能出具有公信力的评级报告。投资者也确实是这么相信它们的。但实际上，许多评级机构自己也参与投资，加入了房地产债券业务，因为利益关系，只要房地产市场的泡沫不破，评级机构就可以赚得盆满钵满，于是金融市场成了一场击鼓传花游戏，所有人都不希望鼓声停止。

预测失败的第二个原因，是我们在分析数据时容易过度简化。房地产泡沫本来不缺乏前车之鉴，在日本等国都发生过。2000年以来，许多经济学者也发表了关于警惕泡沫的分析。但是如果我们回顾当时的预测就能发现，人们更喜欢预测房地产价格会上不封顶地走高，也就低估了泡沫的风险和影响范围。作者分析说，这种错误的预测，主要是因为人们用了大量的旧数据和被简化的模型，但是二十一世纪初的房地产市场和过去相比发生了很多变化，这样的预测当然就不能反映真实世界的问题了。同时，复杂的金融衍生品把各种债券拆散、包装之后售卖，乍看起来这些都是不同的金融产品，但是一旦出现房地产违约，它们的泡沫全都会同时破灭。人们在预测时，把这些相关的风险看成了彼此独立而不是相互关联的风险，因此忽视了可能的连锁反应。

作者还分析了当时的专家预测，发现公开发表的预测有一些只是模棱两可的文字游戏，其他那些预测的正确率接近百分之五十。这个概率，你想想，和抛硬币来决定没什么区别。那是不是说，这些所谓的专家都是一群徒有虚名的骗子呢？也不能这么绝对。作者发现，专家可以分为两类，刺猬型和狐狸型。刺猬型专家固执己见，希望用简单的方法做出判断；而狐狸型专家办法多多，善于适应，也能接受自己预测不准确这个事实，会更多依赖经验而不是理论。听我这么说你一定有了判断，狐狸型专家的预测往往更为准确，但是媒体更喜欢那些说话斩钉截铁、喜欢给出明确预测的刺猬型专家，结果就是，电视上的预测正确率极低。这也是预测会失败的第三个因素。

你看，评级机构的失职、分析数据时过度简化、媒体为了追求传播效应的选择，最终导致了我们对于金融危机的预测大错特错，用了近十年的时间消化危机的不良影响。如果说发生在我们身边的例子，比如买股票，你是不是更愿意相信权威专家的指导？会不会以某只股票以往的涨势来判断接下来的走向？这就是犯了预测的大忌。

那有没有什么方法能避免呢？作者给出了几个避免错误的建议。首先是要用概率的方式思考问题。这个世界不存在刺猬型专家眼中的“一定如此”，我们需要判断各种情况发生的概率，运用统计学原理发现看似独立的事件之间存在的相关性。第二是要敢于修正自己的预测，新的、更准确的数据不断出现，人们应该积极修正过去的预测，不要认为否定过去的自己是软弱的表现，是不是和大家意见一致和准确率无关，摆出唯我独醒的姿态并不能让预测是对的。最后也是最显而易见的，如果负责预测的人并不是第三方，本身有利益纠葛，那么他的可信度自然大打折扣。

总结一下这部分，作者通过金融危机的案例分析了错误预测的问题所在，分别是权威机构的失职、过度简化分析数据、媒体追求传播效应的影响。想要避免预测错误，作者也给出了这些建议：避免盲目自信，利用真实数据预测；要做狐狸型专家，善用概率，乐于修正预测，保持中立客观。

第二部分

但是，即便考虑了这些预测的方法，很多领域的预测还是困难重重，作者把这类领域称为“动态系统”，它们构成了如今预测领域最大的难题。我们第二部分就来说说预测动态系统为什么很困难。

先来说说什么是动态系统。动态系统在生活中非常常见，天气系统就是最典型的例子。这种系统有一个特点：只要稍稍改变条件，最后的结果就可能发生巨大的变化。气象学家给这种效应起名蝴蝶效应：一只蝴蝶在巴西扇动翅膀，就可能在一个月后的得克萨斯州引发一场龙卷风。我们对不同的动态系统预测能力也是不同的，这其中最成功的例子就是天气预报本身。

我们知道，在几十年前，可以提供参考的天气预报还不存在，但就在两代人的时间里，人类对于天气预报的能力已经取得了巨大的进展。如今只要打开手机，就可以查看一周左右的天气。对于灾害天气，我们的预警能力也大大提升了。比如说，三十多年前美国还没有飓风预警系统，而现在可以提前几天发出警报了。这是因为我们掌握了正确的预报方法，在各个地区都有气象站收集数据，这些数据在超级计算机中汇总、计算，加上经验丰富的天气专家的帮助，天气预报的准确程度就越来越高。

但是，错误的产生有可能不是计算机，而是人为的结果。我们刚刚说，稍微改变一点点条件，结果就会发生巨大的变化。人类观察周围事物的精确度是有限的，可能输入的观测数据差了0.0001，计算机导出的结果就会完全不一样。而且如果预测的时间跨度太大，比如你提前九天预测天气，那计算机算出来的专业结果可能还不如你根据气候学规律预测得准。比如，海洋性气候的地区天气是什么样，大家都有个概念，但计算机算出来的结果可能完全不符合这个规律。

天气之外，有一种动态系统夺去了许多人的生命，那就是地震。和天气现象不同，我们至今对预测地震束手无策。

2009年意大利拉奎拉地区的地震造成三百多人丧生，六万余人无家可归。地震之后紧接着是一场闹剧：2011年，七名科学家和公职人员被告上法庭，罪名是没有告知民众发生地震的过失杀人罪，还好最后被无罪释放。这场审判引发了另一场科学争论，那就是我们到底能不能预测地震？地震和天气系统一样，也是一个典型的动态系统，不同之处在于，我们已经能很方便地检测气象数据，但是对于地球的活动知之甚少，也没什么检测手段。许多科学家尝试用过往地震的数据来预测未来的地震，结果根本不可靠。只靠现在人类的技术水平，只可能在一定程度上预测地震发生的概率，比如我们可以说，未来三十年内，南加州有60%的概率发生地震。这种预测虽然正确，却没法用于防灾。所以科学家一再强调，那些宣称某时某地一定发生地震的预言纯属欺骗，目前我们根本没有这种精确预测的能力。

通过这些例子，我们能发现预测动态系统虽然非常困难，在大量数据和超级计算机的帮助下也能计算出它们的发生概率，但是必须承认，我们对许多动态系统还缺乏研究手段，承认我们无法预测它们。况且这些动态系统的预测还会受到社会因素的影响，比如地震的例子中，学界对于失败的预测心有余悸，政治因素对于正确的预测往往不是好事。作者指出，做出正确的预测就要忠实于数据和方法，预测者的职责是忠于真理。

总结一下这部分的内容。作者分析了常见的两个动态系统，天气和地震，它们都和生活息息相关。我们不断努力希望得到预测的办法，有一些已经比较成功，比如天气预报，但因为动态系统的特性，还有人类的观测不能特别精确的限制，可能导致和现实情况差异比较大的预测结果；对于另一些动态系统，比如地震，我们也需要承认目前还缺乏有效的预测手段。

第三部分

动态系统这么难预测，那我们该怎么提升预测能力呢？这就到了我们要说的第三部分。

我们先来说说作者最推崇的统计方法，叫做“贝叶斯方法”。贝叶斯方法的名字来自于发明人托马斯·贝叶斯，他是十八世纪的一位英国牧师，也是皇家学会会员。他的生平记载很少，但有一部很重要的著作，叫《机会的学说概论》。他的思想被法国概率论学家拉普拉斯等学者发扬光大，最终形成了统计学中的贝叶斯方法。这种方法有点颠覆，和经典的统计学方法差异很大，作者给我们举了一个癌症筛查的例子来说明它们之间的不同。

我们知道，经典统计学计算一件事的概率，最直观的方法就是观察它究竟会发生多少次。比如，我们不断扔出一枚硬币，次数多了之后，正面朝上的比例就会接近50%，这就是硬币正面朝上的概率。我们也可以计算一种疾病检测手段的正确率，比如一位四十岁的妇女如果乳腺癌 X 光检测呈阳性，有多大可能真的患癌呢？按照经典统计学，我们可以计算 X 光检测的正确率，正确率是75%，那这名妇女患癌的风险就很高。

但是贝叶斯主义者有着完全不同的判断方法，他们会考虑一件事的“先验概率”，然后根据新的数据，得出“后验概率”。先验概率，顾名思义，就是在我们进行实验之前，对一件事发生概率的判断。还是说乳腺癌的例子，科学家发现，四十多岁妇女患有乳腺癌的概率只有1.4%，这个数字就是先验概率。那后验概率呢，就比如你把这个数据带入贝叶斯公式，加上 X 光检测的概率，再计算时得出的结果，就是后验概率。比如得出的结果是10%，那也就是说，这名妇女真的患上乳腺癌的概率只有10%，看起来可以松一口气了。

贝叶斯方法的特点，就在于这个先验概率到后验概率的过程。在很多例子中，我们没办法得到一个准确的先验概率，有些人甚至认为，一个主观判断的概率也可以充当先验概率。正是这种想法，遭到了信奉经典统计学学者的反对，把主观判断的概率带入公式，算出来的结论不是很不靠谱吗？但是贝叶斯方法的生命力可以说十分顽强，在现代生活中发挥了越来越大的作用。比如上面的例子中，考虑到五十岁之前患上乳腺癌的风险本来就很低，医生索性建议，不需要在这个年龄段做 X 光癌症检查。

除了贝叶斯方法，如今的预测也离不开计算机的帮助。这个很好理解，但是作者提醒说，在借助计算机的运算能力后，预测者自己的判断会变得更加重要。作者给我们分析了计算机和国际象棋的例子。

下棋和预测有什么关系呢？其实它们的过程非常相似，都是不断获得新的信息，再根据信息做出判断。计算机和人类的第一场世纪之战，就发生在二十世纪九十年代。当时的国际象棋世界冠军是卡斯帕罗夫，1988年，IBM 制作的超级计算机“深思”和他比赛下棋，结果被他杀得一败涂地。仅仅九年后的1997年，局势逆转，新的计算机“深蓝”反败为胜了。这是怎么做到的呢？

在当时的比赛中，运气和卡斯帕罗夫开了一个残忍的玩笑。深蓝并没有今天的计算机强大，程序漏洞让它随意走了一步棋，扰乱了这位国际象棋大师的心理，让卡斯帕罗夫非常紧张，以为计算机有什么无法判断的妙招怪棋，因为误判计算机，深蓝最终胜利。赛后，卡斯帕罗夫指责深蓝团队欺诈，而最终团队也承认，深蓝其实学习了大量卡斯帕罗夫的走法，是一台专门为战胜他定制的计算机。可以说，在当年计算机战胜了人类是深蓝作为卡斯帕罗夫的克星险胜而已。如今计算机的能力已经和九十年代不可同日而语，但是作者忠告我们，不应该期待机器能代替我们进行思考。在卡斯帕罗夫的例子中，计算机的超级计算能力，正是通过和研究团队中人类的精巧思维结合，才战胜了国际象棋大师，而卡斯帕罗夫因为失去了自己的判断，才被计算机牵着鼻子走，那计算机就只能是人类偏见和错误的放大器。所以作者也说，人类的进化远远落后于科技，我们自己已经成为了最大的技术障碍。

总结一下这部分的内容。在作者看来，我们可以用什么方法来提高预测的准确率呢？善用贝叶斯方法，结合计算机和人的力量，这就是作者对正确预测提出的方法。贝叶斯方法是一个具体的统计学方法，它考虑了一个先验概率，又能用不断丰富的事实修正预测，得出后验概率。作者认为，这是如今预测这个复杂世界的关键方法。作者最后奉劝大家，不要迷信计算机的力量，超强的计算能力加上分析师的智慧反而更为可信。

第四部分

这些朴素的道理就是作者针对当前预测提出的建议，那如果面对现在复杂的社会，这些办法是不是确实有用呢？在最后一部分，作者分析了一些最难预测的领域，这些领域的预测如同地震一样，还没有可见的方法，但是值得我们深入思考。

第一个领域是气候变化。我们刚刚说到了技术上我们怎么预测天气，但是气候预测不仅是一个技术问题，作者的分析回到了偏见和政治对预测的影响上来。联合国气候变化委员会有这么两个观点：第一，地球存在温室效应，它让地球气温升高，这是不该出现的；第二，随着温室气体的浓度升高，温室效应加剧，全球气温会进一步升高。但是针对这两个观点可以问出很多问题：气温究竟升高多少？为了防止升高，我们到底要如何减少温室气体的排放？该减少多少？和天气预报不同，预测全球变暖成了一个政治议题，有许多不同的节能减排方案，各个国家为此争论不休，生怕这些方案影响了自己的国民经济。一些怀疑论者索性否定气候变化，自然也有人因为自身利益不愿承认问题。

作者认为，最需要重视的是其中的一些科学怀疑论者。他们同样是气候科学家，但更像是作者说的狐狸型专家。他们中的大多数人并不怀疑气候变化，而是反对用当前的方法来预测未来。他们认为，不能通过投票的方式来做科学预测，这不是科学方法。面对气候问题大量的不确定性，各种复杂的预测模型可能力不从心。这种怀疑对于做出更好的预测是大有好处的。数据显示，很多预测短期内气温升高的科学家都失败了，结果就是气候科学受到了更多批评。作者认为，气候变化不是天气预报，精准的预测暂时还做不到，但是目前的讨论常常滑向政治闹剧。他建议学者应该保持对科学的忠诚，不要陷入党派政治的偏见和混战中。

另一个领域是股票市场，这是一个典型的动态系统。在一个理性的股票市场中，有人需要套现而兜售股票，有人认同这一价格所以买入股票，双方都是理性的。但是在真实世界中，股票买卖反映的是人们对于价格不同的预测。像我们刚才的分析，人们在预测时经常会受到偏见的影响。当出现非理性的繁荣时，投资者宁愿跟着下注，哪怕损失金钱，也不愿意独善其身，因为一旦预测失败，错过发财机会，可是要承担责任的，但是随大流的失败却可以免责。正因为这样，股票市场的泡沫非常难以预测，更难以清除。哪怕会损失金钱，人们就是乐意追涨杀跌。如果我们认为市场是完美无缺的，价格是公正的，就会导致可怕的错误。

不过，类似于股票市场这种所有人一起预测的方法，还是一种有效的工具。作者反复强调，群体预测的结果经常好于单个预测者。如何让人们一起对一件事做出预测呢？有人运行了虚拟股票游戏，比如让很多人对几部电影的虚拟股票投资，预测电影的票房，结果发现这种预测的准确率很高。所以，尽管股票市场本身难以预测，我们却可以打造一些股票游戏鼓励大家一起参与，预测其他事件。

这就是我们要说的最后一部分，通过分析股票市场、气候变化等重大问题，作者首先指出这些领域都是典型的动态系统，非常难预测，正因为这样，才需要再次重申科学的独立性，防止党派利益等因素掺入预测过程，让偏见蒙蔽双眼。虽然预测股票市场的泡沫非常困难，但是股票市场群体预测的特性让它成为一种调动群体智慧的工具。我们不能用投票代替科学预测，但是不妨利用更巧妙的虚拟股票工具调动群体智慧，做出更好的预测。

总结

说到这里，这本书的内容就为你讲得差不多了，最后再来为你总结一下。我们回答了四个问题。

第一，为什么预测会失败？作者通过金融危机的例子向我们说明，有这样三个原因，那就是权威机构失去了作用、人们在分析数据时过分简化数据、媒体过分追求传播效应，导致我们的预测和实际情况大相径庭。

第二个问题，为什么预测动态系统如此困难？拿天气预报举例子，虽然技术发展飞快，但是因为动态系统的特点，一点小小的数据差异就会引起结果的大不相同，人类的观测精确度又是有限的，所以动态系统才很难预测。天气系统还好说，到现在为止，我们还没有精确预测地震的能力。

第三个问题，作者推荐用什么办法进行预测？作者认为，贝叶斯方法是预测这个复杂世界的关键方法，在利用它进行预测时，我们还要注意不要迷信偶然因素，摒除偏见。另外，计算机的力量能让人类如虎添翼，但是在这样的时代，我们更要注意预测人员本身的判断能力，否则计算机只会成为放大我们偏见和错误的机器。

最后，我们来思考这些预测方法怎么应对当今时代的重大问题。预测不只是一个技术问题，更是社会问题。比如全球变暖这个预测，因为触碰到了各个国家的利益，所以一直在争论不休。股票市场也是一样混乱，人们为了避免承担责任，宁可牺牲金钱也要随大流。

《信号与噪声》这本书出版于2012年，在当时，作者刚刚成功预测了奥巴马第二次当选总统，并且准确预测了两位总统候选人在每一州的胜负。但是在2016年的大选中，作者的网站一直预测希拉里更有可能当选，却落空。看来，即便是利用经过验证的预测工具，在政治预测中依然有可能遭遇失败。但是正如本书中推崇的方法，一个好的预测者应该客观中立，不受政治偏见影响，不断修正自己的预测工具，用新的数据补充原有数据，大方承认自己的缺陷和不足。作者分析的领域横跨体育比赛、赌博、金融系统、灾难和恐怖袭击等诸多领域，从中我们不仅可以了解现今人类预测能力的发展，他提出的建议对于我们应对这个剧烈变化的世界也非常值得参考。也许我们都应该学习一下他的方法，成为自己领域的狐狸型专家。

撰稿：陈朝

脑图：刘艳

转述：成亚