4.2多感觉学习与脑
4.2.1多感觉学习及其优势
学习（learmning）是人和动物在生活过程中通过获得经验而产生的行为或行为潜能的相对持久的适应性变化。根据学习材料的呈现方式，可将学习分为视觉学习、听觉学习以及体感觉学习等。当学习信息以声音材料形式呈现时，有效的学习方式为听觉学习。当学习材料以文字、图片、表格等形式呈现时，视觉学习将是有效的学习方式。在日常生活中，我们用眼睛感受世界的五颜六色，用耳朵欣赏音乐的美妙，用舌头品尝食物的美味。换句话说，我们使用多种感觉模式来感知同一事物的不同特性，并将其留在我们的记忆里。在自然状态下，这些不同感觉模式信息往往不是单一存在的，如看到摆放在眼前的鲜花的同时，我们也会闻到花的芳香。我们对花的这种多模式信息的感知要比仅对花的图片的感知要强烈得多，也更容易形成记忆，并能将记忆信息保持更长的时间。这种通过同时呈现视觉、听觉、嗅觉、体感觉等不同感觉模式信息组合来获得经验与知识的学习方式，被称为多感觉学习（multisensorylearning）。例如，在最初学习英文字母时，小朋友经常会混淆“b”和“d”，对此可以让小朋友用橡皮泥捏成字母“b”或“d”的形状，再同时播放相应字母的读音。在这个过程中小朋友通过触觉和体感觉形成对字母特异的空间记忆，通过听到字母的读音形成听觉记忆，通过看到字母形成视觉记忆，所有这些记忆整合到一起，将会大大提高学习效率，而且这种记忆可以维持更长的时间。Seitz等人让被试进行方向辨别知觉学习任务，即学习判断不同运动方向的圆点的一致性方向，参与视觉一听觉多感觉学习的被试的学习效率显著高于单独视觉学习的被试，表现为知觉学习初始阶段的正确率的提高更快，达到稳定成绩的训练次数减少（Seitz,Kim，&.Shams,2006）。更重要的是，Murray等人发现对在学习阶段与相应声音刺激同时呈现的图片的再认正确率显著高于只呈现图片时的再认正确率，即多感觉学习明显增强了单一感觉记忆的提取过程（Murray等，2004）。进一步研究发现，这种多感觉学习的易化效应只在图片与声音刺激存在语义相关的情况下出现，而在两者不存在相关时没有表现出明显的易化效应（Butler&James,2011）。另有研究表明，学习阶段采取视觉一听觉多感觉训练可以明显改善言语辨别任务的成绩（von Kriegstein &.Giraud,2006）。研究表明多感觉学习的易化效应不仅可以存在于3个月大的婴儿身上（Hyde,Jones,Porter,&Flom,2010）,也可以存在于儿童的较晚发育阶段（Ross等，2011）。多感觉学习可以明显提高之后单感觉信息的加工速度（Shams,Wozny,Kim,&.Seitz,
2011），以及对多感觉神经元在大脑皮层中的分布产生明显的影响（Xu,Sun,Zhou,
Zhang, &. Yu, 2014)。
4.2.2多感觉学习易化效应的脑基础
多感觉整合（multisensory integration)
高等动物的感觉神经系统采取通道特异性加工方式，如对图片材料的加工由视网膜、外侧膝状体、初级视觉皮层以及外侧纹状皮层组成的视觉通路完成，而由耳蜗核、内侧膝状体、初级听觉皮层以及高级听觉皮层所构成的听觉通路负责编码周围世界的声音。但近来的研究充分表明各感觉系统间存在着大量的交互作用，即相对于单独呈现一种感觉刺激，多种感觉刺激同时呈现增强了人或动物对周围环境信息的探测和辨别效果。Stein等人训练猫完成对感觉刺激的朝向行为（即靠近感觉刺激）。当单独给予猫微弱的视觉信息（LED灯亮）时，猫的朝向反应的正确率较低。但在给予视觉刺激的同时伴随短暂的低强度声音刺激，这时猫的朝向反应的正确率将大幅度提高（Stein,Huneycutt,&.Meredith,1988）。多感觉整合的另外一个例子就是视觉与听觉信息间相互影响的麦格克效应（McGurk effect），即如果看到屏幕上出现的
嘴型是“ba”，但耳朵听到的是“ga”时，我们就会误听成“da”。
多感觉神经元(multisensory neuron)
运用神经电生理学技术，Stein等人发现猫的中脑上丘（superior colliculus）深部神经元可以被视觉信息、听觉信息或体感觉信息等多种感觉信息所激活，这种神经元被称为多感觉神经元(multisensory neuron)(Meredith &.Stein,1986)。 多感觉神经元在同时接收两种不同感觉刺激的组合信息（即多感觉刺激）后，其放电活动显著高于组合信息中任一种感觉刺激引起的神经元活动，甚至会超出单独感觉刺激诱导的神经元活动之和，表现出显著的促进作用或多感觉整合效应（Stein&.Stanford，
2008;Wallace,Meredith,8.Stein.1998）。这些研究结果表明，相比于单感觉信息，多感觉信息诱导神经元产生更加强烈的放电活动，这可能是动物对多感觉信息的朝向反应成绩提高的神经生物学基础。进一步的研究发现，多感觉整合效应具有以下特点：（1）空间规律：即当不同感觉刺激出现在同一位置或相隔一定空间范围的位置时，多感觉刺激诱发的神经元的放电活动比任一单独刺激诱发的放电活动要大许多；反之，多感觉信息所诱发的神经元的放电活动就显著降低，甚至出现相互抑制的现象，即神经元对多感觉信息的反应弱于对任一单独刺激的反应（Meredith&.Stein,1996）。
（2）时间规律：即当多感觉刺激组合需要同一时间或相隔一定的时间差（称为时间窗，time window）时，多感觉神经元才能表现出多感觉整合效应（Meredith,
Nemitz,8.Stein,1987）。如果不能满足时间规律，多感觉神经元的活动将会明显受
到抑制（Holmes,2007）。除了上丘以外，研究者还在颞叶皮层（Gu,Angelaki,&
Deangelis,2008; Wallace,Meredith,&.Stein,1992)、顶叶皮层(Avillac,BenHamed,&.Duhamel,2007）、皮层下结构（如基底核）(Nagy,Eordegh,Paróczy,
Markus,&.Benedek,2006）、前额叶皮层（Romanski,2007;Sugihara,Diltz,
Averbeck,&.Romanski,2006)以及初级听觉皮层(Cohen,Rothschild,& Mizrahi.
2011）等多个脑区都发现了多感觉神经元。
多感觉神经元的发育
研究表明，多感觉神经元在人或动物出生后会经历一个从不成熟到逐渐成熟的阶段，出生后的2周内基本上在上丘找不到多感觉神经元，但在出生4周后多感觉神经元的数量呈现急剧上升趋势。而且较早的多感觉神经元表现出对感觉刺激的潜伏期较长、感受野较大以及多感觉整合效应较小等特点。随着多感觉神经元的不断成熟，其潜伏期逐渐缩短，感受野逐渐减小，多感觉整合效应逐渐增强（Wallace& Stein,1997）。相对于上丘多感觉神经元的发育，Wallace等人的研究显示大脑皮层多感觉神经元的发育更晚一些（Wallace,Carriere,Perrault,Vaughan,&.Stein,2006)。Alvarado等人报道，通过冷冻猫的前外侧颞沟（anterior ectosylvian sulcus.
AES）皮层使其失活后，上丘多感觉神经元对多感觉信息（如视觉一听觉刺激）的增强效应消失；而在前外侧颞沟皮层功能恢复后，上丘神经元的多感觉整合效应重新出现。但前外侧颞沟皮层的失活对上丘的单一感觉刺激的神经元没有显著的影响。这表明多感觉整合的神经网络各成分间存在着特定的交互作用（Alvarado,Stanford,Vaughan, 8. Stein, 2007)。在另一项研究中,Cariere 等人将刚刚出生的动物一直饲养在黑暗环境中，造成动物的部分视觉剥夺。在其成年后，研究者发现与正常饲养动物相比，视觉剥夺显著改变了前外侧颞沟皮层神经元对视觉、听觉、体感觉以及多感觉信息敏感的分布。进一步的研究发现，视觉剥夺显著增加了多感觉抑制反应特性的神经元的数量；同时，致使多感觉增强反应特性的神经元的数量明显减少（Carriere等，2007）。这些研究结果充分显示，出生后感觉信息的输入对于前外侧颞沟皮层多感觉神经元的正常发育有着至关重要的作用。
多感觉整合的神经影像学证据
当被试完成感觉信息辨别任务时，Giard和Peronnet（1999）发现，相对于单独呈现视觉刺激（水平或竖直方向的椭圆）或听觉刺激（540Hz或560Hz声音），同时呈现多感觉刺激（视觉+听觉）时被试的分辨成绩显著升高，表现出明显的行为学上的多感觉整合效应。运用事件相关电位(event-related potential,ERP)技术，研究者发现在枕顶部位，多感觉刺激诱导的P3成分显著高于单独视觉或单独听觉刺激诱导的P3成分之和，而且其潜伏期显著缩短，在脑活动方面也表现出显著的多感觉整合效应。除了P3成分以外，他们还发现一些早期成分（如N1、P1等）也参与了多感觉整合过程。这些研究发现与其他研究结果是一致的（Molholm等，2006）。运用功能性磁共振成像(functional magnetic resonance imaging,fMRI)技术,Wright等人发现与单独给被试呈现一个单词（V）或单词的发音（A）相比，单词和发音同时呈现（A+V）更大程度地激活了颞上沟（superior temporal sulcus,STS）,而且激活程度大于单独呈现单词或单独呈现单词发音引起的激活程度，表现出多感觉整合效应（Wright，Pelphrey,Allison,McKeown,&McCarthy,2003)。进一步研究发现,该多感觉整合效应在视觉刺激和听觉刺激不相关（即看到“b”而听到“kah”）或时间上不一致情况下消失（Macaluso,George,Dolan,Spence,&.Driver,2004）。以上研究证据充分表明视觉一听觉多感觉刺激在空间、时间以及语义方面非常显著地影响我们对语言的理解。越来越多的研究结果表明，顶叶皮层（Pasalar,Ro,&.Beauchamp,2010;
Serino,Canzoneri,&.Avenanti,2011)、运动前区(premotor area,见Gentile,
Petkova,&.Ehrsson,2011)、前额叶皮层（Gentile等,2011;Noppeney,Ostwald,&
Werner,2010;Plank,Rosengarth,Song,Ellermeier,&.Greenlee,2012;Serino等,
2011）以及基底核（Gentile等，2011）等多个脑部位参与了多感觉整合效应，说明多感觉整合与由多个不同脑区组成的复杂神经网络系统有关。在对被试进行视觉一听觉
判断任务训练后，发现与训练前相比，颞上沟、听觉皮层和视觉皮层的激活程度显著
降低，但静息态分析和功能连接分析显示这些脑区之间的连接却明显增强，表明多感
觉学习使与各种感觉信息加工相关的脑区在时序上的连接得以增强（Powers，
Hevey,&.Wallace,2012)。Pasalar等人(2010)报道,相比于单独辨别触觉刺激,给
予触觉刺激的同时给予与之相关的视觉刺激（即视觉一触觉多感觉刺激），可以使被
试的行为成绩显著提高。运用经颅磁刺激（transcranial magnetic stimulation,TMS）技术抑制后顶叶皮层（posterior parietal cortex,PPC）后，发现被试对多感觉刺激的辨别任务成绩显著下降，接近于对单一触觉信息的辨别任务成绩。这些结果表明后顶
叶皮层在多感觉整合过程中起到重要的作用，并提供了后顶叶皮层参与多感觉整合效应的因果性证据。最近的一项功能性磁共振研究采用多体素模式分析（multi-voxel pattern analysis,MVPA)方法，探讨了初级视觉皮层和高级联合皮层(如后顶叶皮层）在整合视觉信息和听觉信息过程中的不同作用。研究者发现两者在多感觉整合过程中可能遵循不同的规律，如空间规律对两者的影响明显不同，表现为多感觉信息的空间位置对初级视觉皮层的多感觉整合效应影响较小，而较大空间分离的多感觉信息显著降低了后顶叶皮层的激活水平。该结果充分表明不同等级的脑部位在多感觉整合过程中可能采用了不同的编码与加工模式（Rohe&.Noppeney,2016）。
网友评论