本文首发在个人博客https://7988888.xyz
编者按
在早些时候，通过直播学习的时候，我们就已经介绍过多模态内容的学习，在很多时候，单一的技术已经不能满足研究的需求，那么寻找多模态的方式将是科研中不可或缺的一部分。在上一期内容，我着重介绍了EYE-EEG工具箱的使用，它是眼动-脑电技术的融合。今天给大家介绍一下新的科研工具眼动-近红外（EyeTracking-fNIRS）技术的融合，fNIRS脑成像技术作为一种新的研究技术方法，是非常有利的工具之一。它研究的是大脑血流响应变化的过程，在空间定位上具有一定的优势。那么当我们结合眼动事件来查看相应的脑激活区，这样在时间和空间上将是非常实证的研究方法。今天这篇文章时近期预审在NeuroImage上的一篇文章，希望能给科研学者新的多模态思路。
Andre Roelk ChristianVorstius RalphRadach Markus J.Hofmann
Received 23 July 2019, Revised 23 March 2020, Accepted 28 March 2020, Available online 11 April 2020.
摘要
虽然对词频和可预测性效应已经有大量的研究证据，但是在整个句子阅读过程中，有关交互作用以及副中央凹的影响证据依然存在不一致和不确定性。新的神经影像学方法利用眼动数据来解释在非常短时间的事件（例如自然阅读过程中的注视事件）的血液动力学响应。在这项研究中，我们使用了近红外光谱（NIRS）的快速采样频率来研究枕叶和额叶皮层对单词频率和可预测性的神经反应。当固定词N的频率较低时，我们观察到右侧枕叶皮质的激活增加，我们认为这是因为在扫视过程中注意的增加。重要的是，不可预测的低频词在前一个词N-1注视时增加了左侧枕叶皮质的活动，这可能是由即将发生的自上而下的注意期望值的变化造成的。与前人的研究结果相反（例如，Hofmann et al，2014），我们在前额叶皮层中未发现这种相互作用，这意味着在自然阅读过程中认知过程中的自上而下的模型是需要的。在本文中我们集中讨论了在当前的眼动模型中，副中央凹对中央凹的影响。
关键词：Fixation-related NIRS 注视相关近红外
Occipital Cortex 枕叶皮质
Parafoveal Processing 副中央窝加工
Natural Reading 自然阅读
引言：
为了探讨视觉单词识别过程中单词频率和可预测性的神经效应。
我们通过利用单词的第一个注视事件作为fNIRS数据上的事件来研究自然阅读过程中的血液动力学反应的变化。我们研究了频率和可预测性对单词本身（N）的影响，以及它们对前一个单词（N-1）的影响。因此，我们在一个测试句子中操纵目标词为高频率或低频率，而可预测性则取决于前面的上下文句子（见下图）。我们预测低频和低可预测性词会导致更长的注视持续时间并增加主要目标区域的枕叶皮质的血流响应（Hofmann等人，2014 ; Inhoff＆Rayner，1986 ; Schuster等人，2016）。
image
研究方法：
实验
实验被试：
本研究共有36名右利手、德语母语者(27名女性，平均年龄23.42岁，SD 3.7岁) ，视力正常或矫正至正常。
实验材料：
we used the stimuli from the Potsdam Sentence Corpus, which comprised 144 German sentence units
image
实验仪器：
EyeLink 1000 Plus眼动设备，2k采样率
NIRScout近红外设备,20ch
image
image
实验流程：
这个实验包括8个练习阶段以及3个block每个block包括48个实验试次，中间有短暂的休息。在每个block开始，进行三点水平校准。每一个试次都进行漂移校准，上下文句子以单行显示(字体: Courier New，大小: 18，视角0.33) ，直到参与者按下空格键。然后是500ms短空白屏幕和另一个漂移校正，一行测试句显示，其中包含操纵目标词频率。在按下“space”键之后，出现一个空白屏幕，在2000到6000毫秒之间颤动。在三分之一的试次中，随机分配三个选择题，三个可能的答案被显示出来，参与者按下“1”、“2”或“3”中的某个按钮来回答。在每个问题之后，校准程序重新被启动，然后是下一个试次。多项选择理解题的正确率平均为95.93% (SD: 2.97%)。
研究结果：
眼动数据：
进行2(n: 高 / 低频率) x2(n: 高 / 低的可预测性)方差分析，以 n 作为第一注视时间因变量，频率(F (1,35)=40.5，p<0.001; 高: 199 ms，低: 211 ms)和可预测性(F (1,35)=25.46，p<0.001; 高: 201 ms，低: 210 ms)存在主效应,但无显著相互作用(F (1,35)=0.42，p<0.520，p20.012），还有以n-1的结果具体结果可查阅原文（左下角原文阅读）
image
与注视相关的 fNIRS 数据
分析每个单词的第一个注视事件为起始点。
在以N作为第一注视时间因变量，右侧枕叶皮层(可能是腹侧 V2区)的频率对deoxy-hb 有显著影响，因为低频词的脱氧血流变化较多。在该区域[ oxy-HB ]存在的情况相反(F (1,35)=7.67，p< 0.01) 。在目标词的注视过程中，n的可预测性没有主效应，也没有交互作用。还有以n-1的结果具体结果可查阅原文（左下角原文阅读）
image
笔者感悟：
本研究中最大的优势是引入了多模态的研究，将眼动-近红外结合来研究自然阅读过程中的脑血流变化，这就是一个突出的点，眼动来弥补近红外中的时间不精确的问题，多模态的研究将是今后发展的重要手段之一。
参考文献：
Andre Roelke, Christian Vorstius, Ralph Radach, Markus J. Hofmann,
Fixation-related NIRS indexes retinotopic occipital processing of parafoveal preview during natural reading,NeuroImage,2020,116823,ISSN 1053-8119,https://doi.org/10.1016/j.neuroimage.2020.116823.----------
谢谢大家观看，如有帮助，来个喜欢或者关注吧！
本文作者：Chen Rui
博客地址 ： Chen Rui Blog
知乎地址 : 知乎专栏
B站地址 : B站主页
书店地址 : 书店主页
简书地址 : 简书主页
CSDN地址 : csdn主页
学术导航 : 导航主页
网友评论