眼动和脑电多模态数据融合分析

眼动和脑电多模态数据融合分析

本文参考网址：http://www2.hu-berlin.de/eyetracking-eeg/tutorial.html
本文首发在个人博客（7988888.xyz）
今天为大家介绍多模态数据分析（眼动和脑电）使用基于MATLAB下的EYE-EEG扩展包，它可以在EEGLAB中通过manage进行添加，也可以在网站：https://github.com/olafdimigen/eye-eeg 中下载最新版本。请注意，下载后的文件名为eye-eeg-master，为了实现EEGLAB兼容性，请先将文件夹从 eye-eeg-master重命名为 eye-eegX.XX，然后再将它复制到EEGLAB插件文件夹中，X.XX是当前的EYE-EEG版本（例如“ 0.85”）。

前期摘要

在很早的时候，我就已经写过一篇关于《眼动技术和脑电/近红外技术的联合使用》来介绍了，实现多模态采集的几种方法，在这里我也提醒大家采集时的注意点。

1、请保持采样率的一致性，这将在后期融合数据进行插补关系到数据对齐一致性；

2、在可能的情况下，标注开始和结束标记；

3、在采集过程中，不应关闭任何一方的设备记录，以防止设备中断导致数据记录时间点不齐。

4、通过组合TTL+message方式，请注意标注正确的TTL数字。

EYE-EEG简介

EYE-EEG工具箱是对开源分析软件EEGLAB的扩展，EEGLAB是为促进对电生理和眼动数据的综合分析而开发的。该工具箱可对同时记录的眼动数据解析，导入和同步数据，并将其添加为EEG的额外通道。
扫视和注视可以从眼动原始数据中导入，也可以使用基于速度的自适应算法进行检测。然后将眼动数据作为新的时间锁定事件添加到EEGLAB的事件结构中，从而可以进行扫视和注视相关的EEG分析（例如，注视相关的电位，FRP）。或者在给定的试次中，可以将脑电数据与刺激诱发进行比对，并根据眼动行为（例如瞳孔大小，微扫视）进行分析。扫视运动相关的ICA分量可以基于眼动数据分量进行独立成分分析来客观地识别。
EYE-EEG 在EEGLAB中添加了一个名为Eyetracker的顶级菜单。所有功能均可通过此菜单访问，并保存在EEGLAB的命令历史记录中。或者，可以从命令行调用函数，从而为高级用户提供了在自定义脚本中使用它们的选项。使用EEGLAB的导出功能，集成的数据集也可以导出到其他开源工具箱，例如Fieldtrip或Brainstorm。
EYE-EEG是由柏林洪堡大学Werner Sommer 生物心理学实验室的Olaf Dimigen和 Ulrich Reinacher撰写的。

操作步骤

本文中所使用的是EYE-EEG主页上的EyeLink数据集，可查看http://www2.hu-berlin.de/eyetracking-eeg/testdata.html#exampledata3

前处理

解析原始眼动追踪数据，并以MATLAB格式存储
使用EyeLink设备采集的数据可通过小工具EDF Converter(在开始菜单SR Research文件夹下找到)，打开将原始眼动文件转换为.asc格式。

image
image

请注意红框中的内容，当你使用组合TTL+message方式时，需要勾选上并填写message信息，这样在下一步导入数据中才能识别出同步标记。

导入和同步（Import & synchronize）

根据常见事件同步眼动和EEG数据
添加凝视位置和瞳孔大小作为额外的通道
导入眼动仪在线检测到的扫视/注视/眨眼

image
image

1、数据的开始和结束标记，如果没有打上就会自动识别同步的第一个和最后一个；
2、选择需要导入EEG数据结构中的数据，从上到下依次为时间、左眼X轴坐标、Y轴坐标、左眼瞳孔面积；右眼X轴、Y轴坐标、瞳孔面积以及其它输入值。不必全部选上，可将需要值（X/Y坐标）加载。
3、原始数据中的注视、扫视事件，EyeLink数据在采集时已经生成，如果需要在后期根据软件通过阈值计算，切记不勾选这里。如果不需要后期计算，可勾选上导致原始数据事件。

image

数据对齐结果

根据眼动位置拒绝数据（Reject data based on eye position）

删除眼动轨迹中超出范围的连续或其它数据
控制注视，客观地拒绝眨眼的伪影

image

选择左右眼的通道，拒绝值设定，根据当时所使用的采集显示器的屏幕分辨率修改以上值。

将功能应用至所选通道（Apply functions to selected channels）

仅将现有的EEGLAB功能（例如过滤器）应用于EEG或眼动数据

image

同时进行滤波等操作

检测扫视和注视（Detect saccades & fixations）

具有相对阈值的基于速度的（微）扫视检测（Engbert＆Mergenthaler，2006）
将扫视和注视作为时间锁定事件添加到EEG.event
绘制眼动特性

image

1、选择检测的通道和计算视角。
2、扫视的阈值检测，也就是按SD进行计算。
3、添加事件到EEG通道，一定不要忘记勾选上ADD。

image
数据通过检测后的事件结果，在图上可以查看到扫视和注视的相关事件数。

改进ICA并对独立成分进行分类（Improve ICA and classify independent components）

在前期已经预处理好EEG和EYE数据后，首先运行Tool-run ica，然后在Eyetracker的菜单中选择Reject components with eye tracker，就会弹出如下图。

image

红框中是根据设定的扫视和注视的比值来拒绝眼动成分值。其余值不清楚的可以按默认设置，它就会基于眼动事件来自动计算眼动成分。就可以得到以下图

image
image

最后需要删去眼动成分，即可在Tool-Remove components中进行删去。

image

至此，多模态眼动-脑电中眼动数据融合到脑电中的处理已经完毕了。接下来就是按照正常的EEG/ERP数据处理流程进行，分段-叠加平均等

---

谢谢大家观看，如有帮助，来个喜欢或者关注吧！

---

本文作者：Chen Rui

博客地址 ： Chen Rui Blog

知乎地址 : 知乎专栏

B站地址 : B站主页
书店地址 : 书店主页
简书地址 : 简书主页
CSDN地址 : csdn主页
学术导航 : 导航主页