为什么大家都不戳破深度学习的本质?!

作者: Pope怯懦懦地 | 来源:发表于2017-03-25 18:23 被阅读21401次

自从去年 AlphaGo 完虐李世乭,深度学习火了。但似乎没人说得清它的原理,只是把它当作一个黑箱来使。有人说,深度学习就是一个非线性分类器[1]?有人说,深度学习是对人脑的模拟[2]……但我觉得都没有捅透那层窗户纸。

当读完 Jeff Hawkins 的《论智能》[3],「就是它了!」。而我惊奇地发现,原书竟是 2004 年出版的!我怕自己读了本假书,或是某个美国民科的著作,特意到豆瓣、知乎上查了下,发现几乎每个看过这本书的人都对其理论啧啧称赞。但奇怪的是,似乎没人肯替它站台,这套理论的影响止步于此,好像大家都在刻意掩饰自己看过这本秘笈。它明明已经完整解释了人脑智能的运作机制了啊!注意是 Real Intelligence ,而不仅仅是 Artificial Intelligence !!!

三个洞见

比起绝大多数脑科学论文,作者的洞见简单得多,也深刻得多:

  1. 长久以来,由于我们没有能力从内部去观察思维,所以人们总是把「智能」等同为「表现出智能的行为」。但当我们看书时,在外人看来并没有任何变化,而我们自己知道,这期间产生了无数的联想、顿悟、回忆。所以,「理解」是无法通过外部行为来测量的,它是一个内在度量的指标。

  2. 从草履虫到人类,大自然会为每一种生物分别设计一套智能机制,还是沿用一套机制,亦或是从某一代开始出现某种全新的智能机制,并沿用至今(那么,最先产生这套智能机制的又是什么物种呢?)?我们所说的智能,是人类所独有,还是生物的普遍特征(只是多寡之别)?而作者相信,智能不可能是上帝专为人类而设计的,它一定来自大自然的某种惯用伎俩。

  3. 大脑皮层,不管是结构上还是功能上,都有着相同的构造/机理(严格来说,这不算作者的洞见,而是早在 1978 年由 Vernon Mountcastle 发现的)。

由这三个洞见出发,自然而然地导向了以下疑问:

  1. 如果智能不是由行为定义的,那该如何定义它?

  2. 向前看,智能是如何演化而来的?

  3. 向内看,大脑皮层的结构是如何捕捉这个世界的结构的?

简单地说,作者的结论是:

  1. 智能并没有人们想象的那么玄乎,它不过是一种「预测未来的能力」罢了。

  2. 这些预测的实质,不过是「生物的应激性」在「生物自平衡机制」&「环境压力」下产生的副产品。

  3. 智能的核心是某种「稳定不变的东西」。而这得益于大脑皮层同质的层级结构。

下面,我们就来看看作者是怎么从那三个简单的洞见一步步推测出智能的本质的。

生命的秋千

小到人体,大到经济系统,复杂系统内都有着一种消减冲击、使系统回归稳态的类似机制。血糖浓度低了,胰高血糖素分泌会增加,拉高血糖;而血糖高了,胰岛素分泌会增加,拉低血糖。通过调节这对激素,系统竭力让血糖维持在某一范围内。这种自稳态机制出现在生命的各个角落,保持着生命的自我平衡[4]

这就像一只「看不见的手」,总是想推开挤压,同时把「逃兵」抓回来。这只「看不见的手」在我们大脑中编织了无数「正确的位置」(用脑科学家的黑话说就是「恒定表征」)。一旦偏离,我们就开始警觉起来,并调动多个系统联合应对。举个书中的例子,一个球飞过来,我们并不是去计算它的弹道、落点,而是指挥肢体相应调整,直到抓住来球。这套调整算法就是「预测」。从这个事例看,人们在接球这件事上表现出的智能,和草履虫向着食物划动所展现的应激性,又有什么本质的分别呢?

为什么说「预测」是智能的基础?

平常,人们理解的「预测」步子迈得太大了,就好比从一发球就要精准地算出其落点,而人脑的「预测」更像是「应激」,球动我动,一点点微调。现代社会发展得太快,让我们看不清概念的历史面貌,因而更容易被表象的迷雾困惑。当我们走回历史的起点,迷雾自然散去。智能,于我们最大的益处是什么?并非创造什么,而是生存下去。人类无时无刻不在「生存」还是「发展」之间纠结。但很少有人看到:发展,不过是为了应对未知的生存挑战。

我们应该怎么去定义智能呢?也许演化的历史能告诉我们更多。智能,是帮助人类生存下去的一种能力:是让我们可以在溪流中叉到游动的鱼儿的能力,是让我们可以只靠一幅模糊的图像就判断出是朋友还是猛兽……我们应该去研究那些「如何保持平衡」之类的问题,而不是什么弹道求解问题,那不是大自然的进化目标,自然也得不到什么大脑的机制。

所有生存问题都可以归结为一个元问题:如何识别出这个问题中的那些个恒定不变的东西。比如:溪流中的鱼、回家的方向……如果说智能中还存在别的成分,比如:想象、创造工具、解决问题,都可以规约到某种抽象手段上。归根结底,人类解决一切问题的方法只有一个——运用抽象,在更高维度上调和矛盾。

一切绕不开「恒定表征」(invariant representations)。

抽象的本质

就如同人们在认可了「负数」这一概念之后,终于能将「加法」&「减法」这两种表象上完全不同(一个增加,一个减少)的运算,统一为「整数域上的加法」。从更高的维度调和矛盾,这正是大脑皮层的构造方式,也是其工作原理。不断在现象中找到共同点,提取出来,取个名字;这些名字又成为了上一层抽象的基石(或者叫「词汇」)。这样一层一层,直至得到那个智能的圣杯——恒定表征。

举个例子,我们是如何识别边缘[5]的呢?

我们先来考察一小块 3×3 的视网膜,分别标记为 #1~#9 (如下图所示)。当一条竖线出现时(#1, #4, #7 均被激活),电信号传递到第二层。第二层的每一个神经元,分别响应视网膜上一组细胞被激活的情况。比如:第二层最左边的那片神经元,响应的是单个视网膜细胞被激活的情况。再比如:第二层左二那片神经元,响应的是任意两个视网膜细胞被激活的情况。以此类推……

边缘识别:最下层是视网膜细胞;当某个视网膜细胞组合被激活后,会激活其上一层的相应神经元;而上一层神经元的某个组合被激活后,又会链式地激活更上一层的神经元

如果我们把时间的因素考虑进去,假设信号并不会马上消失,而是随着时间衰减,那么只要时间够短,输入 (#1, #4, #7)、(#2, #5, #8)、(#3, #6, #9) 这三组刺激,就会在第三层激活某个神经元,代表「发现一条竖线」。

看,其实每一个神经元都是一个「单词」(或是「概念」/「抽象」/「特征」)。只不过低层神经元描述的「单词」抽象程度更低。比如:第二层那个 #(1, 4, 7) 神经元代表的是「在视网膜的最左边出现一条竖线」,而其上层那个则没有「在视网膜的最左边」这一约束。

记忆的角色

神经元可以在 5 毫秒内完成信息的收集-整合-输出,相当于运算速度为每秒 200 次。人类可以在半秒内(相当于 100 步)识别图像、作出选择…… 100 步,机器可做不到。在人类已知的算法里面,也许只有「打表」(把答案事先存储在记忆中,用时并不作计算,而只是提取)可以做到。所以,整个大脑皮层就是一个记忆系统,而非什么计算机。

深度学习做对了什么?

多层网络,提供了逐层抽象的通道。如今,图像识别系统正是这么做的:底层识别边缘,而后识别特定形状,再高层识别某种特征……

卷积,提供了获得「恒定表征」的手段。

还有什么我们不知道?

当我们想要提取某段记忆时,往往只需要只言片语就行了。也就是说,记忆似乎是以一种全息的形式存储的。任何片段都包含了全部。

还有,我们依然不知道大脑是怎么在 100 步内完成决策的。我们也不知道为什么会有那么多反馈连接?轴突 v.s. 树突在功能上有什么分别?……


现在让我们回过头来看作者的三个洞见,用黑话再讲一遍就是:

  • 理解,是对「大脑如何形成记忆,并利用这些记忆作出预测」的一个内部度量。

  • 预测,是某种自我调节机制的副产品。

  • 大脑皮层在外表 & 结构上存在着惊人的同质性。也就是说,大脑皮层使用相同的计算方式来完成它的一切功能。人类展现出来的所有智能(视觉、听觉、肢体运动……)都是基于一套统一的算法。

人类正在慢慢接近世界的本质——物质只是承载信息模式的载体。人脑之外的器官都只是保障这一使命的给养舰队。


  1. 详见:吴军老师写的《数学之美》(第二版)第三十章。

  2. 王川老师写的《关于深度学习,这可能是你最容易读进去的科普贴了

  3. 原书名为《On Intelligence》。中国华侨出版社的翻译是《智能时代》。虽然内容的翻译还是很到位的,但这个书名译得却有噱头的嫌疑。

  4. 如果要追溯这种自稳态思想的数学基础,那得追溯到发现控制论之初的年代了。这段历史参看 Thomas Rid 的《机器崛起——遗失的控制论历史》第二章。

  5. 这里需要特别说明的是:现实中,人眼识别物体边缘并不是按下述原理实现的,而是一种很巧妙、却也很简单的机制。Feynman 的《物理学讲义》(第一卷)第 36 章中有提到。

相关文章

  • 为什么大家都不戳破深度学习的本质?!

    自从去年 AlphaGo 完虐李世乭,深度学习火了。但似乎没人说得清它的原理,只是把它当作一个黑箱来使。有人说,深...

  • 深度学习的本质

    深度学习,其实质就是使用深度神经网络拟合数据与标签之间的复杂非线性关系。 初始输入向量,隐含了图像、语音、文本等的...

  • 不断逼近问题本质---《深度思考》

    不断逼近问题本质---《深度思考》 为什么要读《深度思考》这本书呢?下面请大家看一看作者的一些文字: 每个人都有独...

  • 学习之道 11天高效版 读后感-3

    第3天的收获。 深度学习及背后的机理。 解决的疑问。 机器学习的本质是什么?和人的学习有相似点吗?为什么说大脑越用...

  • 豆瓣8.3!畅销美亚的这本花书你看过么?

    说到深度学习,大部分小伙伴们都不陌生,今天我们就来简单普及一下深度学习的基本知识,大家都知道目前市面上关于讲解深度...

  • 第八章 深度化策略

    第八章 深度化策略 所谓深度,指的是触及事物内部和本质的程度。作为一种学习方式,深度学习deep lea...

  • 初探深度学习的本质

    《形而上学》开篇第一句话:“人天生求知识。” 我对深度学习共同体的第一感受就是惊奇,之后便是困惑。...

  • 大概念教学读书笔记(二)

    深度学习像专家一样思考,深度学习就是在现实世界中创造和运用新知识,也有人认为,深度学习就是把握学科的本质及思...

  • 《合作让学习深度发生》

    178.合作让学习深度发生 学术界认为,深度学习是主动学习,抓住事物本质的学习,并且能够学以致用的...

  • 动手学深度学习(六) 凸优化

    优化与深度学习 优化与估计 尽管优化方法可以最小化深度学习中的损失函数值,但本质上优化方法达到的目标与深度学习的目...

网友评论

  • lazydao:我猜你离人工智能研究很远
    Pope怯懦懦地:@Will_Liu ,的确,我还在手写反向传播的阶段。
  • e05e3fc29013:总有一些人写的内容,你看了之后会说“卧槽,原来不止我一个人这么想”,这篇文章就是
    Pope怯懦懦地:@西雅图里一条街 ,:smile:
  • Dream4ever:写得非常好!然后我越往后看越看不懂了,哈哈哈哈。
    Dream4ever:@Pope怯懦懦地 并不是,哈哈,越往后看越懒得动脑子了。
    Pope怯懦懦地:@Dream4ever ,我的问题:sweat_smile:
  • 465324f0eea8:目前认可这种理论,为作者点赞!:+1:
    顺便,我也是喜欢去不同地方听不同声音的人。 :joy:
    Pope怯懦懦地:@Linkdesu ,抄了一遍书而已:sweat_smile:
  • b5238f9f304a:阿法狗我觉得非常普通。CPU计算本来就比人脑快,输给电脑是完全正常的。刘翔跑的亚洲第一快,跑得过汽车吗?现在就是有人宣布我用了新技术造了一台车,居然比刘翔跑的还快,一堆人居然觉得,我曹,好神奇啊。这车神了,人类要完蛋了。
  • b5238f9f304a:深度学习早就有了。深蓝也是深度学习的一种体现。只不过最近又火了。在风口浪尖上被吹上了天,不过就是在以前的基础上多了一个拟合函数不断试错罢了。现阶段的所谓人工智能根本就不会自己思考。所有的东西不过是CPU计算的结果。人脑要比这复杂一万倍。只要计算机用的还冯·诺依曼的种理论架构,计算机能有自己的思想就是扯淡。
    b5238f9f304a:@Pope怯懦懦地 你继续学习你的理论,看看有没有实用价值。追随新潮又不是没有成本。你以为你自己可以活一万年?或者像愚公一样子子孙孙把所谓的人工智能搞明白?
    Pope怯懦懦地:@loeatore ,您这样全知全能的人,钱又要来做什么呢。
    b5238f9f304a:我静静的等着这波装逼的人再次碰到人工智能的壁垒。到时候助逐利的资本赚的盆满钵满,可能就剩一些受伤的人工智能程序员空悲叹。
  • zzmarquis:不管正确与否,这个角度挺有意思
    Pope怯懦懦地:@zzmarquis ,我也对这个理论很警惕,至今也不确定它正确。
  • 6cfa4cfd7379:看了这篇文章,我产生了一种假想:如今人类可以通过一些渠道,比如Google 百度 wiki等获得他人的经验,能对一些自身未知的事件作出相应的反应措施。那么未来,人脑会不会成为一个云库,一些公开权限的经验、记忆都是共享的,可以不通过外界媒质直接获取:no_mouth:
    Pope怯懦懦地:@YesirYxY ,不管以后脑机接口发展得怎样,但人工智能的未来肯定是这样。但我不觉得人能做到,对于人类来说,信息是散落的。
  • 79b68a7d418b:哥,你太较真了,智能这两个字现在领域内是被重新定义的,和所谓生命的智能没半毛钱关系,我一般都直白的讲,现在的智能计算都是统计学玩剩下的。。。只是以前处理不了这么大量的数据,现在可以了而已。
    e55d6fc09198:@andylsr 顶你!不明白现在的人为什么总把人工智能理解成了,西部世界里面的那种机器人,哎。。。
    79b68a7d418b:@Pope怯懦懦地 是你计算的细节不够~~
    Pope怯懦懦地:@andylsr ,统计学解释不了。您还没入门呐。
  • 次世代书虫:蛮吊,突然感觉在智能上的知识有一点点进步。如果大脑是个记忆体,可不可以把智能理解成经验,人眼每看到一个景象,大脑立即抽取存储的所有场景进行经验比对,然后做出判断。这个比对的速度非常快,可能在几毫秒完成了几百亿次比对,当然这种比对结果有可能是错的,原始人看到飞机肯定判断为鸟,因为他的大脑没有存储飞机的知识。这样看来,人工智能完全可以做出类人机器人啊,有灵魂的呀,好怕怕。
  • fe7a9e46d01d:jeff hawkins说了那么多,但是没数据啊啊啊啊。人类倒是自带从外界获取信息的感受器,而且与大脑是配套的,更不用说什么视觉、听觉、触觉联动再加上一点思考完成一个动作了。复现人类行为的难度令人绝望,可能与ray kurzweil的理论差不多吧,说的很好,但是并没有什么卵用。实际上,只要有数据,就算我们不知道内部的结构,又有什么关系呢?毕竟我们需要的其实是比人类强一些的大脑,来帮助人类发展,光有大脑没有资本是做不了什么的。
    fe7a9e46d01d:@Pope 是,你说的角度我倒是没想到
    Pope怯懦懦地:@间与间 ,这确实是他的一个弊端,虽然理论做得很好,但是没有漂亮的成果。但这不妨碍理论的精彩,比起那些一上来就 sigmoid 的入门教程,这个角度足够自然且清晰。这才是这个理论的价值所在。
  • 25045643e74f:同意智能的基础和表现是预测
  • d01a228bbb3e:谈到智能、记忆、预测,无法绕开意识二字,是否它只是人脑整体功能的附属品?亦或像心灵一样,属于无法被证实的伪概念。可否谈谈你对意识的理解?
    Pope怯懦懦地:@Hayes_4fad ,好吧,如果你非要探究这种形而上的概念,我就谈谈我不成熟的看法。
    我觉得意识是人脑对自身的建模。但它所构建的模型是很粗糙的。比如:它会把最近的记忆 & 感受最深的记忆看得很重,而忽略掉其他的因素。
    可以看看《思考,快与慢》,里面讲了很多(简单地说,作者认为,人脑是由快系统 & 慢系统主宰的)。
    可以看到,人脑这套系统存在太多进化包袱。从意识层面去思考人脑的工作原理,可能会陷入误区。
    我们研究鸟儿飞行,想知道的并不是羽毛的构造,而是空气动力学。同样,我们研究脑科学,应该关注更核心的东西。
    至于人为什么会自杀,我还没有自杀过,不过我想,也许是因为基因担心这个个体的存在会影响到整个基因的延续吧(想想日本人因为觉得做坏了事情亏欠大家而自杀的心态)。
    d01a228bbb3e:@Pope 经常看足球的人会谈踢球意识,讲究传球和跑位的时机,似乎意识是人类的一种高级智能,它可以在复杂局面下做出预测。或者说同一个问题有多个解决方案(预测),但意识在某一时刻有选出一个最优解的能力。如果预测的最终目的是生存下来,那么人类自杀这种反生存的选择是否是一个负智能(失败的预测)?
    Pope怯懦懦地:@Hayes_4fad ,我不认为意识是必须迈过的一道坎。智能的本质也许是对环境的适应 & 变化的应对。需要说明的是,适应也好,应对也好,并非就是被动的。
    玩过《饥荒》应该有这种感受,死亡的威胁是永恒的。永远需要为未来的威胁准备。寻找食物很重要,但制造武器同样重要。
    所以说,以预测为基础的智能机制已经足够涵盖关于生命的大多数问题了。这之中其实没有意识什么事。
  • 单人远行:看到这里我不禁想说一句.....贝叶斯一统江湖.....:ghost:
    单人远行:@Pope :eyes: 个人认为 世界是贝叶斯的。
    Pope怯懦懦地:@单人远行 为什么?
  • 煎鱼不可能有BUG:这样吧 其实现在我(们)也很是糊涂 不如作者建个模试试?我搞不懂智能是怎么运作的 我想最好的方法就是用建模去验证。。
    Pope怯懦懦地:@煎鱼教教主 ,我做不到。Hawkins 专门开了一公司来干这事,后面都没音信了。
    但我相信,对的东西一眼就能看出来,因为它寥寥数笔就能解释「全世界」。
    与其去自己建模验证,还不如用这个视角好好把深度学习学学呢。
    煎鱼不可能有BUG: @Pope 唔 就是通过你说的这个本质 来建一个模 然后看看智能的行为如何
    Pope怯懦懦地:@煎鱼教教主 ,我只是在说 Hawkins 的假说暗合了深度学习的本质啊。建什么模?
  • 无事扯淡:预测是智能的基础这点我不认同,人工智能的目的是预测,修正过程这个叫强化学习。在系统中这种修正叫反馈,对神经网络的训练叫理解。
    Pope怯懦懦地: @无事扯淡 ,原书的「预测」其实是「把当前环境的输入与记忆比对」的意思,而非泛化意义下的预测。
  • 开飞机的猪猪:我有一个理解,人脑的顿悟、认知过程可以看作深度学习过程中的参数学习过程。比如线性分类器的权重,所以,“理解,是对“大脑如何形成记忆,并利用这些记忆作出预测”的一个内部度量”,这句话很精彩,但是,我觉得,叫做内在属性更合适,因为这些内部属性要经过外部行为才能“度量”,比如一个分类器是否理解了数据要看它的预测精度,就像我们说一个人有善心,还是要经过他的行为来度量。
    开飞机的猪猪:@Pope 如果没有行为,从外人看来,洱海边顿悟的人没什么变化。作者看问题的角度不一样,他站在系统内部,说,即使我什么都没对别人说,但是想通没想通我自己知道。但是是怎么知道的呢?就是以前不会做的题会做了,以前想不通的事想通了,我觉得这就是行为,只是因为从作者的角度看,这变成了内部行为。
    Pope怯懦懦地: @开飞机的猪猪 ,我感觉用深度学习来比喻人脑的思考有点邯郸学步。
    深度学习本身是对人脑思考的模拟,而且是极其粗糙的模拟。人脑不管在效率上,还是效能上都远胜深度学习。
    我至今仍怀疑,我们是否找到了智能的动力学。
    Pope怯懦懦地: @开飞机的猪猪 ,我的理解是:作者强调的恰恰是——理解,并不需要通过外部行为来度量。
    当你坐在洱海边上放空的时候,难道就没有思考了吗?
  • 685763496099:深度文
  • 史东:好文,怎么给扯上民科了……一个乱入的评论
    史东:@Pope 噢,对了,其实我在写与这个作者类似观点的文章的时候,也多次犹豫,担心自己“错得离谱”,尤其还被一个数学教授批评为“胡扯”的时候。后来发现,加州伯克利大学的认知科学学院,正在教授相同的内容。很多人认为是“民科”,不一定都是不科学的,还可能是因为没能足够了解到足够多的背景知识。
    史东:@Pope 很典型的现象呀,很多突破性的认知,绝大多数不是线性的,并不意味着是在人的意愿的时间中,持续出现新观点并被有效证明。加上语言描述的抽象性,没有理解文字背后含义的人,很难产生共鸣,就像你文中说的“物种只是一种能量的表现”实际上在上个世纪有过世纪大讨论,应该是有了一些结论的。但,几乎没有多少人认为这句话是“科学的结论”:smiley:
    Pope怯懦懦地: @史东 ,主要是这个结论太具有洗脑性了,而且作者 04 年以后就没见什么后续成果曝出来。所以会有这种担忧。毕竟脑科学的事水太深。
  • Solorrow:你怕著作是民科,却去知乎查……
    Pope怯懦懦地: @流川枫debug ,是不是科学,看看可不可以证伪、能不能验证、敢不敢同行评议,就行了。如果不按这三点去甄别,谁都可能是民科。
    我不喜欢给哪个社区贴标签。去豆瓣、知乎看也是为了了解不同的声音。
    流川枫AI:知乎是民科的集中营:joy:
    Pope怯懦懦地: @Solorrow 因为我觉得豆瓣上那帮看了书的人都没说到点子上。
  • 6db09b136a03:👍👍👍👍👍

本文标题:为什么大家都不戳破深度学习的本质?!

本文链接:https://www.haomeiwen.com/subject/uqkcottx.html