基于大数据的多媒体画面语言研究

本文由《电化教育研究》杂志授权发布

作者：王志军、吴向文、冯小燕、温小勇

摘要

大数据环境下，多媒体画面语言的研究视角、研究方法、理论和内容都发生了重要变化和革新。多媒体画面语言研究的大数据主要来源于两个方面，即利用相关软件获取图、文、声、像、交互等要素的“画面数据”，以及运用相应设备和技术平台获取学习者的生物表征、外显行为和情感体验等“学习行为数据”。在此基础上，通过对画面数据和学习行为数据关系的分析，从中挖掘出多媒体画面语构规则、语义规则、语用规则及其匹配规律，以应用于多媒体学习资源设计和学习过程分析，达到优化多媒体画面设计、提高多媒体学习效果的最终目的。

关键词：大数据；多媒体画面语言；多媒体学习；学习行为

一、引言

多媒体画面语言学是诞生和成长于我国本土的一门创新理论，着眼于多媒体教学中学习资源的设计、开发和应用，以提高多媒体教学效果。近年来，随着网络与媒介技术的发展，一系列与媒体相关的词汇不断衍生，如“数字媒体”“网络媒体”“富媒体”“新媒体”“全媒体”等，这些名词可以统称为“X媒体”，其表现形态本质上都是“多媒体”，只是媒介载体有所不同而已，因而对“多媒体”新时期下的应用研究仍是“当前时”，更凸显了新媒体研究的本质。当今时代，多媒体已经成为信息传播的基本“文本”，在教育领域，多媒体是信息化教学内容的主要载体，多媒体画面是教学内容最直接、最具象的体现形式，而多媒体画面语言是运用多媒体画面的基本要素有效表达教学内容的语法规范。可见，多媒体画面语言学是当下教育技术领域具有鲜明时代特色的研究方向。

　　

目前，通过对海量数据进行分析和处理来提高效率、颠覆传统研究方式的大数据浪潮，对各行各业都产生了极大的影响。教育大数据正在成为新型驱动力，在教育教学研究与实践中，对变革教育方式、促进教育公平、提升教育质量起着重要的支撑作用。多媒体画面语言研究注重对多媒体画面数据与学习者学习行为数据的深度分析，厘清学习行为数据与画面数据之间的相互关系，探究多媒体画面语言与多媒体学习行为在宏观、中观、微观不同层面的关联，从而挖掘未知的多媒体画面语构规则、语义规则、语用规则及相应的匹配规律。显然，对大数据的依赖是多媒体画面语言研究具备的显著特征，对数据的获取、分析和运用是大数据环境下多媒体画面语言研究的重要内容。事实上，在多媒体画面语言研究的历史发展脉络中已经充分体现了大数据理念，大数据驱动下的多媒体画面语言研究时代已经到来。　　

二、大数据驱动下的多媒体画面语言研究

基于大数据的多媒体画面语言研究不是单纯的量化研究，而是大数据理念引导下的研究范式的转变，是以近似全样本、自然情境下的大数据为基础，在未知世界里探索多媒体画面语言规律的研究。

　　

（一）从抽样研究走向全样本研究

多媒体画面语言研究经历了初期的哲学思辨、经验总结到小数据时代的随机抽样。通过严谨科学的方法，利用最小数据获得最多信息，是在当时数据获取技术条件约束下的一种相对有效的实证研究方式。大数据带来的重要思维变化之一就是关注所有数据，即全样本。[1]大数据技术的发展使获取全数据成为可能，能够对多媒体学习中的各种结构化、半结构化、非结构化数据进行收集、存储、分析和挖掘，实现对多媒体学习的量化处理和有效预测，[2]为多媒体学习资源设计、智慧学习环境的创设、学习者自适应的个性化学习提供立体化的数据支持，促进多媒体画面语言研究进一步向纵深发展。

　　

（二）从实验室研究走向自然情境下的教学研究

多媒体画面语言研究融合了认知心理学的理论和范式，在以往研究中主要采用实验室实验与准实验相结合的方法，借助于眼动仪等设备获取学习者学习过程中的生物学数据，并与行为实验相结合，探索基于多媒体画面的认知规律、学习策略和学习效果。[3-6]实验室环境有利于严格控制实验变量，避免无关变量的干扰，实验严谨，可信度高。但是，由于学习和教学活动十分复杂，实验室情境下的学习与真实的教学情境相去甚远，导致研究成果外在效应较低，不利于推广。大数据技术使自然情境下的教学研究成为可能，数据来源从实验室环境下单源单模态逐渐走向包含自然情境下的多源多模态，使多媒体画面语言研究能够超越实验情境，更加接近教育教学的自然情境，数据更全面可靠，分析结果更具有实践意义和推广价值。

　　

（三）从对假设的验证到对未知的探索

传统的多媒体画面语言实证研究强调在理论的基础上建立假设，通过对抽样样本的定量研究验证假设是否成立，是一种从假设到验证的过程。在探索学习者的认知规律和学习行为中，既定假设的研究忽略了学习活动的复杂性，限制了研究结果可能存在的多样性。大数据所引领的近似全样本的学习分析技术，能够通过对大量数据之间的关联性进行分析，发现数据背后的趋势与规律，洞悉学习者认知背后所蕴含的深层逻辑。由此，多媒体画面语言研究突破了低维数据的有限表达，能够从“假设—验证”逻辑转向在大数据中对未知的探索，在寻求画面设计、学习行为、学习环境之间复杂多样的相关关系中走向多维数据高信息量的分析与表达。

三、多媒体画面语言研究的数据来源

多媒体画面语言研究主要涉及两类数据，一类是多媒体画面数据，主要包括图、文、声、像和交互等要素的画面数据；另一类是学习者学习过程中所生成的生物表征、外显行为及情感体验等方面的学习行为数据。

　　

（一）画面数据

1. 组成要素

　　

图、文、声、像和交互是多媒体画面的基本组成要素。其中，“图”是指能在多媒体画面中显示的图形、图像、图表等，包括位图和矢量图；“文”主要指各种语言文字、符号等，在多媒体画面中，“文”是最基础也是最主要的组成部分，既可以独立出现，也可以与其他要素组合呈现；“声”是指能在多媒体画面中播放的各种音频文件，起到配合画面呈现教学内容的作用，主要包括解说、音乐和音响，其中解说表义、音乐表意（意境）、音响表真；[7]“像”包括影视、动画在内的各种数字视频，用于再现真实的历史、实验、示范、实物等场景；“交互”则是指多媒体画面中的交互功能和交互形式，交互功能的引入为多媒体画面组接提供了多种开放式的组接方式，用于教与学过程的控制，交互形式有导航型、互动教学型、自然型及混合型等。这些要素是构成多媒体画面的基本元素，而多媒体画面要素的量化表达是多媒体画面量化表达的前提，也是大数据环境下多媒体画面语言研究的先决条件。

　　

2. 量化表达

　　

多媒体画面要素的属性包括描述性属性和可量化属性。描述性属性是指难以用数据进行量化表达而使用语言文字进行描述的属性，如图像的构图、文字的意义、背景音乐的旋律等；可量化属性是指可以用数据进行精确表达的属性，如图像的颜色、文字的字号、视频的帧速率等。在多媒体画面语言研究中，通过不同画面要素的可量化属性组成的数据组，可以基本表达出大多数多媒体画面的构成情况，有利于对研究内容进行量化，也有利于画面数据与学习者学习行为数据之间的准确关联与匹配。

　　

多媒体画面中各要素的主要可量化属性的数据范围见表1。需要说明的是，为了研究的方便，表1中所列各要素的可量化属性大多以Photoshop、Word、Audition、Premiere等相关软件为参考，其参数设置与对应软件参数设置基本保持一致，只有部分可量化属性是以一些研究中约定俗成的取值范围为参考，如各要素的“位置坐标”“大小比例”等。

表1 多媒体画面要素的主要可量化属性

（二）学习行为数据

1. 生物表征数据

　　

认知神经科学的发展使得在认知神经和生物学层面分析学习发生过程成为可能，使学习者的生物表征数据成为学习分析的重要数据来源。目前，相关的生物表征数据来源渠道呈现多元化趋势，包括眼动追踪和电、磁生理测量等技术。借助这些技术，可以开展基于学习过程的多维度、全样本、实时性的学习者生物层面的大数据获取，探索学习的深层规律。眼动追踪是一种有效反映视觉信息加工的技术手段，被广泛应用于阅读、产品可用性测试、人机交互等领域，在多媒体画面设计与学习效果研究方面的应用前景广阔。电、磁生理测量技术采用电、磁能量的形式测量、记录和分析生命体特性，其中的皮电、心电和脑电等指标可以反映学习者的生理状态，包括认知和情感状态，及学习过程中的实时体验。[8]眼动追踪和电、磁生理测量技术所获取的数据具有过程数据全样本、指向微观性、表征实时性、量化注重过程性等特点，可以追溯和还原学习内部机制，在基于大数据的多媒体画面语言研究中具有重要的应用价值。

　　

2. 外显行为数据

　　

当前大数据已逐渐成为人类观察和监测自身行为的显微镜和仪表盘，[9]每个学习者既是大数据的生产者，又是消费者，全面跟踪、记录、分析学习者的学习行为数据，可以获知学习者的学习状态，预测学习结果。[10]基于多媒体画面学习的外显行为数据包括单个画面学习的外显行为数据、基于画面组学习的外显行为数据以及与学习行为对应的学习结果数据，其二级指标见表2。

　　表2 基于多媒体画面学习的外显行为及其意义

通过学习者在单个画面上的外显行为、画面组的整体表现行为和学习结果等相关数据的采集、汇总，形成了基于多媒体画面学习的外显行为大数据。在此基础上，对数据进行聚类分析，探寻画面学习内容、学习行为、学习效果之间的关联。

　　

3. 情感体验数据

　　

心理学家把主观体验作为情感的重要组成部分之一，每种情感都有不同的主观体验，代表不同的感受。[11]情感体验指个体对客观事物所持的态度在内心所产生的感受、体会，是主体对经验带有感情色彩的回味和体会，具有主体性、主动性和过程性。[12]在基于多媒体画面的学习中，积极的情感体验可以激发学习者的认知动力，提高学习效果。Norman将对产品的情感体验分为本能水平、行为水平和反思水平三个层次，本能水平侧重视觉感受的外观，行为水平侧重于产品的功能，反思水平注重认知效果。[13]学习者对多媒体画面的情感体验数据包括三个层次：本能层，即学习者对多媒体画面的视觉感受，包括画面整体设计、风格、色调、视觉感受等体验数据；行为层，即学习者在使用多媒体学习材料时触发的感受、体验，包括多媒体学习资源的功能、可用性及效果的体验数据；反思层，即学习者在使用资源学习后引发的沉浸与思考等体验数据，包括理解、认同感、反思等方面的数据。画面接触、使用过程、效果评价三者共同构成了学习者立体化的情感体验数据。

四、多媒体画面语言研究的数据获取

多媒体画面语言研究中的数据主要包括多媒体画面数据和学习者学习行为数据。其中，画面数据主要通过与多媒体画面各要素相对应的计算机软件来测量或精准获取，而学习行为数据则需要借助于特定的技术方法和相关仪器来获取。

　　

（一）画面数据的获取

由前文可知，多媒体画面主要由图、文、声、像、交互等五大要素构成，画面中不同要素的可量化属性数据组决定了多媒体画面不同的表现形态。可见，可量化属性取值的确定是多媒体画面数据获取的关键，可以借助于相应的软件来获取。例如，“图”的可量化属性数据可通过Photoshop、Coreldraw等软件来获取；文本的可量化属性数据可以通过Office、WPS等软件来获取；同样，数字音频文件的参数可以通过Audition、Gold Wave等软件来获取；视频文件的相关数据可以通过Premiere、Flash、AE等软件来获取；交互按钮及其交互功能的相关数据可以通过Photoshop、Fireworks、Flash等软件来获取。多媒体画面数据的获取，往往需要各种相关软件的搭配使用。

　

（二）学习行为数据的获取

1. 生物表征数据的获取

　　

生物表征数据可以通过专有设备来获取，主要采用无入侵式设备，可以最大限度地降低对学习者的干扰。其中，眼动追踪主要利用角膜和瞳孔反光的方法，[14]可以无接触地全程记录学习者与画面要素及学习内容互动过程中的眼动行为，实时地测量其学习状态。多媒体画面语言研究的有效眼动指标主要包括注视（注视次数、注视时间、目标注视率等）、眼跳（眼跳次数、眼跳幅度、回视型眼跳等）、扫描路径（扫描方向、路径长度等）等。根据研究目的，需要综合选择不同类型的眼动指标，从时间和空间维度进行分析。[15]电、磁生理测量主要包括皮肤电、心电、脑电、核磁共振等指标。皮肤电受神经系统调节，主要依据皮肤表面汗腺在刺激作用下被激活而导致电传导能力的变化而进行测量，可以反映学习者的情绪唤醒度和认知努力程度；[8]心电包括心率和心率变异性等指标，因学习者的认知需求、不确定性和注意程度变化而变化，具有较好的时间分辨率和敏感性，传达的信息更丰富，心率对学习者的情绪体验敏感，而心率变异性对认知负荷变化敏感；脑电主要用于对神经活动变化的测量，用于反映学习者的心理活动和唤醒程度，可以分析学习者的情绪体验、认知负荷和个体经验等。需要说明的是，生物表征数据的获取应综合运用多种测量方法，选取的具有代表性、通用性的有效指标，能够对学习者的学习行为进行综合分析和评价。

　　

2. 外显行为数据的获取

　　

学习分析技术为显性学习行为数据的采集与处理提供了有力的支持。通过使用一定的数据挖掘技术和相关工具软件，追踪记录学习者的外显学习行为，关注学习者需求，探索学习行为和学习效果的关系。例如，有研究者通过对学习者观看不同风格在线视频时的跳转行为的分析，探寻教学视频的知识呈现与学习者认知加工之间的协调与匹配关系。[16]外显学习行为数据采集与分析需要借助具有聚类、关系挖掘、预测等功能的数据挖掘技术和专用的统计分析方法。数据平台可以借助SQL Server Analysis Service等动态数据库进行架构；[17]借助于交互行为分析软件，如GSEQ（General Sequential Query）[18]或Microsoft顺序分析和聚类分析算法等，对获得的外显行为数据进行分析处理；也可以利用专业的用户行为分析软件如IBM公司的Intelligent Miner、SAS公司的Enterprise Miner等软件进行分析。

　　

3. 情感体验数据的获取

　　

情感体验的测量方法有生理变化仪器测量、外显行为测量、自陈式情感测量等。[20]仪器测量的优点是客观精密，缺点是容易忽略情感体验的心理层面；外显行为测量的优点是比较直观，缺点是属于间接表征，结果可靠性较低；自陈式测量的优点是主体自我陈述可靠性好，缺点是属于事后测量，具有延迟性。学习者对多媒体画面的情感体验体现在本能层、行为层和反思层，为全面获取学习者情感体验数据，需要对以上不同水平层次进行测量。本能层和行为层侧重于直观感受、功能和可用性的测量，可以通过实验测试、行为观察、问卷调查和自陈式量表进行测量；反思层侧重沉浸性、理解和思考方面的考察，可以通过仪器测量、问卷调查等方式进行测量。以上测量方法，体现了主观与客观结合、仪器测量与人为观察结合的特点。

五、数据分析及其在多媒体画面语言研究中的应用

数据分析是多媒体画面语言研究的关键步骤，主要是对多媒体画面数据和学习者学习行为数据及其之间的关联进行深入分析与探索，为多媒体学习过程的分析、多媒体学习资源的设计与评价提供证据支撑。

　　

（一）数据分析

图1 基于大数据的多媒体画面语言研究逻辑

　　

如图1所示，多媒体画面语言研究主要包括数据来源、数据获取、数据分析等环节。多媒体画面语言研究中的数据主要来源于多媒体画面数据和在自然情境、实验室情境下通过抽样样本与全样本相结合的方法获取的学习者学习过程和学习结果数据，即学习行为数据。数据分析的主要对象是前期采集的画面数据、学习行为数据及两者之间的关联数据，在众多学习者学习画面数据、行为数据及其关联数据中，挖掘未知的多媒体画面语构规则、语义规则、语用规则及其匹配规律，分析行为数据与画面数据之间深度、多元的相互关系，探索多媒体画面语言与多媒体学习行为间的深层关联，探索不同情境下的多媒体画面设计规则，实现多媒体学习效果最优化的目标。

　　

（二）应用

王志军、王雪关于多媒体画面语言的研究，以画面为基本单位，关注设计应遵循的规律，探讨画面要素之间以及画面要素与学习内容、画面要素与学习环境之间的关系，优化学习资源设计。[20]在大数据支持下，多媒体画面语言研究的应用在广度和深度上得到进一步丰富和拓展。

　　

1.基于大数据的多媒体学习过程的分析

　　

多媒体学习已经成为信息化环境下的主流学习方式。传统的多媒体学习研究主要采用认知行为实验方法，对学习后的任务完成情况和学习效果进行测试，是一种“离线”手段，[3]相关测试与学习者的学习行为和认知加工过程分离，不能同步考察学习者学习过程的真实情况。基于大数据的学习分析技术为开展“在线”的多媒体学习过程分析提供了方法和技术上的支持。利用大数据技术支持下的生物表征数据、外显行为数据和情感体验数据，可以实时、准确、全面地表征学习者的认知行为与过程，实现了在多媒体学习过程中外显学习行为和内部认知行为的整体性分析，有助于研究者全面了解学习者的真实状态，并据此提出相应的多媒体画面设计策略。

　　

2. 基于大数据的多媒体学习资源的设计与评价

　　

设计开发符合学习者学习需求和认知规律的多媒体学习资源是多媒体画面语言研究的基本目标。满足学习者个性化需求的自适应学习资源是大数据时代对学习资源的新要求。大数据技术能全面地跟踪、记录、分析学习者个体的学习过程和学习行为，获知学习者的学习需求，进行个性化服务和指导。[10]在多媒体画面设计中，应以满足学习者需求为出发点，为学习者提供个性化的学习资源和策略指导，促进学习资源的优化与改进。

　　

学习资源开发以往比较注重教学设计分析、内容选取和技术实现，对学习者分析及学习需求分析依据经验、访谈、问卷、测试等方法开展小样本分析，广度和深度不足。基于大数据的多媒体学习资源设计与评价，要求对学习者进行近似全样本的分析，能够对学习者特点和需求进行精准定位与服务。在大数据技术支持下，借助于学习分析方法对基于画面的学习行为进行分析，获取生物表征、外显行为、情感体验及相关认知活动等方面的多模态全息数据，建立以学习者为中心的立体化数据模型，从而进行多模态整合分析，[21]为学习者提供个性化的学习资源、指导和干预等相关学习支持服务，为多媒体学习资源的设计与评价提供有力的数据支持。

六、结束语

大数据为多媒体画面语言研究打开了全新的视野，这种新的研究理念、研究视角和研究方法的运用将逐渐成为多媒体画面语言研究中的“新常态”。目前，大数据对多媒体画面语言研究的影响更多的是研究理念与研究范式的转变，随着大数据技术的发展与成熟，多媒体画面语言研究必将发生质的升华。在多媒体画面语言研究进程中，需不断加强技术力量、夯实理论基础，促使大数据理念走向具体的研究行为，同时要避免掉入“大数据陷阱”，从而为电子书包、微课、MOOC、移动学习APP、教学课件等多媒体学习资源设计提供科学、完备的理论依据和行动指南，进一步促进多媒体学习效果的提升。

[参考文献]

[1] 维克托·迈尔-舍恩伯格.大数据时代[M].盛杨燕，周涛，译.杭州：浙江人民出版社，2013：28-29.

[2] 胡水星.教师TPACK专业发展研究：基于教育大数据的视角[J].教育研究，2016(5)：110-116.

[3] 王雪.多媒体学习研究中眼动跟踪实验法的应用[J].实验室研究与探索，2015(3)：190-193.

[4] 王雪，王志军.多媒体课件中的信息加工整合策略的研究与设计——以初中数学课件“二次函数”为例[J].电化教育研究，2015(4)：103-107.

[5] 王雪，王志军，候岸泽.网络教学视频字幕设计的眼动实验研究[J].现代教育技术，2006(2)：45-51.

[6] 王雪，王志军，李晓楠.文本的艺术形式对数字化学习影响的研究[J].电化教育研究，2016(10)：97-103.

[7] 游泽清.多媒体画面艺术设计[M].北京：清华大学出版社，2009：149.

[8] 葛燕，陈亚楠，刘艳芳.电生理测量在用户体验中的应用[J].心理科学进展，2014，22(6)：959-967.

[9] 涂子沛.大数据：正在到来的数据革命[M].桂林：广西师范大学出版社，2012.

[10] 姜强，赵蔚，等.基于大数据的个性化自适应在线学习分析模型及实现[J].中国电化教育，2015(1)：85-92.

[11] 彭聃龄.普通心理学[M]. 北京：北京师范大学出版社，2007：436.

[12] 李彬.情感体验与学生发展[J].黑龙江高教研究，2004(1)：89-91.

[13] NORMAN D A. Emotional design[M].付秋芳，等译.北京：电子工业出版社，2005：19-42.

[14] 闫国利，白学军.眼动研究心理学导论——揭开心灵之窗奥秘的神奇科学[M].北京：科学出版社，2012：24-25.

[15] 冯小燕，王志军，吴向文.我国教育技术领域眼动研究的现状与趋势分析[J].中国远程教育，2016(10)：22-29.

[16] 陈侃，周雅倩，丁妍.在线视频学习投入的研究——MOOCs视频特征和学生跳转行为的大数据分析[J].远程教育杂志，2016(4)：35-42.

[17] 孟小峰，慈祥.大数据管理：概念，技术与挑战[J].计算机研究与发展，2015，50(1)：146-169.

[18] 杨现民，王怀波，李冀红.滞后序列分析法在学习行为分析中的应用[J].中国电化教育教育，2016(2)：17-23.

[19] 晏国祥.消费情绪研究综述[J].软科学，2008(3)：28-32.

[20] 王志军，王雪.多媒体画面语言学理论体系的构建研究[J].中国电化教育，2015(7)：42-48.

[21] 张琪，武法提.学习分析中的生物数据表征——眼动与多模态技术应用前瞻[J].电化教育研究，2016(9)：76-81.

　　A Study on Big Data-based Language of Multimedia Design

　　WANG Zhijun, WU Xiangwen, FENG Xiaoyan, WEN Xiaoyong

　　(Educational Science Institute, Tianjin Normal University, Tianjin 300387)

　　[Abstract] In the big data environment, the research perspective, methods, theory and contents of language of multimedia design have important changes and innovations. The big data of language of multimedia design mainly include multimedia interface data and learning behavior data. The multimedia interface data refer to the quantitative expression of interface elements taken from software, such as picture, text, sound, image and interaction. The learning behavior data, retrieved from some equipment and technology platform, cover biological characterization data, overt behavior data and emotional experience data of learners. In order to optimize multimedia design and improve the effect of multimedia learning, this study, based on the analysis of the relationship between multimedia interface data and learning behavior data, explores the rules of language structure, semantic rules, pragmatic rules and matching rules of multimedia design for the design of multimedia learning resources and learning process analysis.

　　[Keywords] Big Data; Language of Multimedia Design; Multimedia Learning; Learning Behavior

作者简介： 王志军（1954—），男，天津人。教授，主要从事多媒体画面语言、多媒体技术与网络远程教育应用研究。

基金项目：天津市哲学社会科学规划项目“多媒体画面语言学促进优质信息化教育资源发展和应用研究”（项目编号：TJJX15-022）；天津市2016年度哲学社会科学规划课题“学习者网络视频学习行为分析及其支持策略研究”（课题编号：TJJXWT16-006）

转载自：《电化教育研究》2017年第4期