美文网首页
哪种不确定?什么黑天鹅?

哪种不确定?什么黑天鹅?

作者: b4c3eecc1b51 | 来源:发表于2019-01-13 16:25 被阅读8次
    你有没有感觉,“黑天鹅”这个词现在已经流行到被滥用的程度了。但凡有什么后果严重的小概率事件发生——甚至只要是自己没想到的事儿发生,人们就会说这是“黑天鹅事件”。我看有些记者从《黑天鹅》这本书中得到的教训大约就是“不要忽略小概率事件!”

    这没啥用。不敢忽略小概率事件可不叫懂统计学 —— 统计学不是吓唬人用的。真正的本事,是不但知道不该忽略的时候不忽略,而且知道该忽略的时候忽略。

    最近,我们专栏特别推崇的两位牛人,一个是《黑天鹅》的作者纳西姆·塔勒布,一个是538网站的主理人纳特·西尔弗(Nate Silver),在Twitter上爆发了一场激烈的争吵。我想给你介绍一下这场争吵 —— 你也许能从中更精确地体会到什么叫“不确定性”,什么叫“预测”,以及什么叫“黑天鹅”。

    1.牛人相轻

    我先给你说说经过。西尔弗是当今预测界首屈一指的人物。他自学成才,因为在2008年总统大选中成功预测了美国51个州中50个州的选举结果而一举成名,后来创办了“538”网站,专注预测体育比赛和政治竞选结果。他对2012年大选的预测也非常成功,后来还出了一本书叫《信号与噪声》,可谓是预测这个行业的代言人。

    但是2016年,西尔弗失手了。他一直预测特朗普当选的概率在50%以下,有时候甚至低于20% —— 而特朗普当选了。当然,绝大多数民调机构都预测失败 —— 某些记者可能会说特朗普当选是个“黑天鹅事件”。但是,刚刚过去的2018年中期选举,西尔弗的预测又比较失败。那既然你是预测名人西尔弗,别人就有权据此嘲笑你。

    而西尔弗的反驳是,嘲笑者不懂数学。

    他这么说是有道理的。538网站给的预测从来都不是给一个单一的结果,而是一个概率。它不会说“特朗普会输”,它只会说“特朗普赢的概率是35%”。

    如果特朗普居然赢了,你很难说是西尔弗预测失败,这可能只不过是一个概率是35%的事件发生了而已!从这个角度来看,你不能说538网站预测错了,咱们以前讲安妮·杜克的《赌博思维》那本书的时候说过这个道理。

    但是,塔勒布不干了。塔勒布说我看是西尔弗不懂数学。

    塔勒布在Twitter上说话一贯尖酸刻薄,但是他的确有权这么说,因为塔勒布紧接着贴出一篇自己在2017年专门针对这个现象写的一篇数学论文。

    塔勒布的意思是说,西尔弗预测出来的概率总是剧烈变化,这种预测毫无价值。

    接下来西尔弗的反应可以说是崩了人设 —— 他完全回避了数学,转为对塔勒布人身攻击 ——

    所以 Twitter 真不是心平气和讲理的地方啊。那塔勒布的批评有道理吗?

    2.什么是预测

    咱们得先了解一下现在主流的、科学的预测方法是什么样。包括538网站的预测在内,预测一般分三步。

    第一步是用一个数学模型代替真实世界。比如我要预测一场足球比赛,我的预测模型可以是双方球员的能力值决定比赛结果。我只考虑了射门、传球、防守各项能力的对比,但是像裁判执法是否公正,天气之类的因素我就忽略了。任何模型总要忽略一些东西。

    第二步是对你的模型进行若干次的模拟。比如说,我的模型里包括22个 AI 球员,他们各自代表一名真实球员的能力值。我可以据此用计算机模拟10万场比赛,看看有多少场是主队赢了,有多少场是客队赢了。

    这个方法叫做“蒙特卡洛法” —— 蒙特卡洛本来是摩纳哥的一个赌场的名字,但是现在一提蒙特卡洛人们首先想到的就是计算机模拟,这个方法实在太常用了。

    第三步是把你模拟的结果告诉公众。比如在这十万场模拟中,主队赢了72%,客队赢了15%,两队打平的概率是13%,538网站就会把这个结果作为自己的预测。

    你发现其中的问题没有?公众想要的是*事件本身的概率*,538网站给的是*它家模型模拟出来的概率*。

    那你的模型要是不对呢?

    用统计学家的话来说,这种预测包含两种不确定性。

    第一种是“偶然不确定性(Aleatoric uncertainty)”, 也叫统计不确定性。它的意思是在给定模型的情况下,在模拟的过程中出现的不确定性有多大。

    比如你问我一个骰子投出去之后,数字“6”会不会朝上。我假设这个骰子是公平的,六个面朝上的可能性一样大,所以我告诉你“6”有可能朝上,这个概率是1/6。

    就算我这个假设 —— 也就是我用的数学模型 —— 完全正确,我也不可能给你一个确定的答案:我不可能告诉你6一定朝上或者一定不朝上,因为我的模型里包含不确定性。

    我不能给你准确的结果,但是我能给你一个准确的概率。

    第二种是“认知不确定性(Epistemic uncertainty)”,也叫系统不确定性。意思是说你这个模型可能不对。

    也许这个骰子是有缺陷的,而我却以为它是个公平的骰子。也许这场足球比赛的裁判起了很大的作用,可是我完全没考虑裁判因素。

    因为偶然不确定性而预测不准,那是运气不好,我可以理直气壮地指责那些指责我的人不懂数学。但要是因为知识不确定性而预测不准,那就是我的问题了,是我考虑不周,是我缺少重要的认知。

    什么叫“黑天鹅”呢?黑天鹅说的是认知不确定性。明知道登山有一定的危险,有人还非得登山,结果摔死了 —— 这不叫黑天鹅,这叫运气不好。反过来说,2008年金融危机则可以称为一次黑天鹅事件,因为导致金融危机的一系列连锁反应,这个机制不在经济学家的预测模型之内。

    3.预测的市场

    那塔勒布为什么要批评西尔弗呢?因为西尔弗没有明确告诉公众他预测的认知不确定性。

    下面这张图是2016年总统大选之前6个月,538网站对选举结果预测的概率变化 ——

    我们可以看到这个概率一直在波动。有时候538网站认为特朗普当选的概率接近40%,有时候还不到20%。

    出现这种情况是因为538的选举模型一直在变。选举过程中总是出现各种事件,出了新事件就修改一下模型,这好像完全符合贝叶斯定理的精神 —— 观点随事实发生改变,这有啥不对呢?

    但是塔勒布认为,严肃的预测不应该随着时间发生这么大的变化。塔勒布还专门写了篇数学论文,预测概率变化到什么程度,才是可以接受的。

    这个批评也有道理。如果你的预测可以随时变化,那就好像一边看着球赛一边预测比分 —— 这好像谁都会啊,那预测还有什么意义呢?真正的高水平预测难道不应该提前一段时间宣布比赛结果吗?

    我看“通往数据科学”网站有一位博客博主 [1] 还提出了另一个批评。他说538这么做相当于是立于不败之地!特朗普没当选,你说自己预测的只是一个概率 —— 可我们听你的预测,总要有个决策吧?决策得有阈值吧?对老百姓来说决策阈值就是50%。你说在50%以下,我就当你说预测特朗普*不会*当选。

    2008年和2012年的时候,我们说你预测“准”,也是对着50%这个阈值说的 —— 那时候你坦然地接受了荣誉。如果你不承认50%这个槛,那你那个时候也应该说自己预测的不过是个概率,这只是运气好!

    但是另外一个博主 [2] 说的也有道理。他说关键在于塔勒布和西尔弗是不同领域的人。

    塔勒布眼中的预测,是真金白银对赌的决策依据,是利益攸关,是 have skin in the game。你说一个预测结果,别人可是会跟着投钱的!你得为预测负责任。

    但是对西尔弗来说,预测结果仅仅是个谈资而已。538网站现在已经成了一个互联网基础设施,就好像搜索要上 Google 一样,想猜一件事情的结果就上538网站看预测。538是个满足好奇心的网站,也可以说是个新闻网站。比如昨天特朗普又干了什么事儿,你想知道这件事能在多大程度上影响选举结果,538会告诉你一个数值。

    预测的数值变来变去,这正好是538吸引眼球的手段,是西尔弗作为媒体人的本分。西尔弗没有任何意愿老老实实地告诉读者,说我的预测就是闹着玩的,其实我也不知道谁能当选总统。

    预测,已经娱乐化了。

    这样说来,塔勒布和西尔弗其实都有道理。事实上他们在预测技术上的差异是非常小的。让塔勒布做538网站,他不会做的比西尔弗更好。但是,这个差异是不可调和的。

    那我们能从这件事中得到什么呢?在我看来,首先是你能不能严肃认真地对待你的认知。当你谈论预测的时候,你知不知道应该怎么理解预测结果。当你谈论不确定性的时候,你知不知道你说的是哪种不确定性。当你谈论黑天鹅的时候,你知不知道黑天鹅是什么意思。当你谈论塔勒布和西尔弗的时候,你知不知道这俩人是有根本差异的。

    一开始你可能想不到这里面有这么大的门道。随着知识的深入,你会对这些事儿越来越敏感。想想吧——

    Twitter上出个撕什么什么的事件,竟可以是这样的水平。

    参考文献

    [1] Isaac Faber, Why you should care about the Nate Silver vs. Nassim Taleb Twitter war, towardsdatascience.com, Dec 17, 2018.

    [2] Peter Scheyer, Nate Silver v. Nassim Nicholas Taleb, and Isaac Faber, towardsdatascience.com, Dec 26, 2018.

    相关文章

      网友评论

          本文标题:哪种不确定?什么黑天鹅?

          本文链接:https://www.haomeiwen.com/subject/wfhldqtx.html