【教书匠阿伦-原创干货】第一手ETS研究报告, 解密你们关心的托

作者: 教书匠阿伦 | 来源:发表于2019-08-12 20:34 被阅读0次

00. 我的托福口语机器到底怎么评?

近期，阿伦老师收到了不少同学的咨询，托福新政之后如何进行口语机评(Speech Rater), 首先我们来看ETS官方公布的数据，最新版本的托福口语机器评分系统Speech Rater与人工评分的相关性系数是0.81。

说实话，官方单纯的拿这么一个统计学系数摆在我们的面前，对于考生或者是托福资深教师而言是没有感觉的，这个系数到底是偏高还是偏低，究竟什么数值范围值得我们进行参考，根本就无从比较。

因此，阿伦老师与ETS几位资深的语言测评老师，进行了访谈，得到了最新以及最一手的ETS口语机评的干货。

01. 托福口语机器评分的背景

此段来自于ETS的官方报告：

随着越来越多的年轻学生在世界范围内学习英语作为第二语言（English as a Foreign Language），为青少年语言学生（Young Language Students）设计的标准化语言考试 (比如托福考试)。变得越来越受欢迎。鉴于这一快速增长的趋势，需要更好地理解年轻学生的语言发展模式和语言表现的语言特征成为语言学教师的需求。根据2014年，两位口语测评学者Bailey＆Heritage的研究，语言发展模式和语言表现对于语言学评估的创建提供指导和指导至关重要。ETS于是系统地进行实证研究：在青少年语言学生中检查其英语语言能力（English Language Proficiency）的进展以便验证青少年语言学生评估任务和评分标准，并为基于测试结果的提供有效性证据（Kane，2013）。

02. 托福口语流利度

Fluency 流利度

何为流利度？

Lennon (2000) stated that fluency “can be measured both impressionistically and instrumentally by speech rate, and by such dysfluency markers as filled and unfilled pauses, false starts, hesitations, lengthened syllables, retraces, and repetitions” (p. 25)

简而言之的流利度有几个衡量的维度：

速度(Rapidness)

流畅性(Smooth)

准确性(Accuracy)

易懂性(Lucidity)

思维的高效转换（Efficient translation of thought)以交流为目的 (Communicative intention)

流利度同时也能细分成三个方面去进行深入分析：

停顿性流利度（breakdown fluency) : 在连续话语中的暂停特征(the pausing features of continuous speech)；

速度性流利度（speed fluency) : 话语演讲过程中的速度( the rate of speech delivery (Ginther et al., 2010 );

修复性流利度 (repair fluency)：在话语中的自我更正、重复以及重述的频率( the number of selfcorrections and repetitions or reformulations present in speech (Iwashita, Brown, McNamara, & O’Hagan, 2008)）

在目前ETS采用的机改Speech Rater的系统中，对于托福口语测评是何以科学、公正以及客观地对考生们进行评价的呢？

根据ETS最新的一项研究, 自1996年就有语言学学者(Ginther et al., 2010; Towell, Hawkins, & Bazergui, 1996) 使用平均话语长度(mean length of run) 这项指标来对考生们的流利度进行测评，通俗易懂的说法，就是在托福考试中你的所有"huh", "uh", "erm", "um", and “well" (filled pause)都会被计数，当频率高到一定程度，就会被认为是弱流利度，另一种就是沉默(silent pauses), 在整个口语回答的过程中如果出现长间断，那么系统会自动把你的口语归为弱流利度。

而托福口语考试的不同任务(task)其对考生们的语言能力和认知能力都有所不同，因此在进行口语独立任务(independent speaking task)设计和口语综合任务(integreated speaking task)设计的过程中，在这项研究中，青少年(YLS)与成人考生(Adult learner)的流利度水平在两个任务的机评效果中都出现了较为稳定的表现。

因此我们可以得出客观结论，在口语流利度方面，考生们在口语独立任务和口语综合任务之间较少会出现流利度偏差。

03. 托福口语语法

Grammar 语法

何为语法？

自1999年，在第二语言习得(Second Language Acquisition)的理论中（Norris & Ortega, 2009; Skehan & Foster, 1999; Wigglesworth & Elder, 2010），与语言测试相关的语法方面研究主要关注于两个方面：

语法准确性(Grammar Accuracy)

语法复杂性(Grannar Complexity)

针对语法准确性，最新的研究报告给出了两个标准维度：

整体准确性(Global Accuracy)，在习者的语言中有任何的语法错误(Grammatical Errors)都会纳入考量范围；

特定种类错误(Specific Types of Error)，2015年的语言学研究者Brown已经将该种类进行了详细描述：动词时态(Verb tense)

主谓一致(Subject-verb agreement)

冠词使用(Article use)

介词使用(Prepositions)

针对语法复杂性，最新的研报的结果(McNamara, & Elder, 2001), 表现为

句式(Syntactic patterns)的呈现性(Elaboration)

句式(Syntactic patterns)的多样性(Variation)

在托福口语测试中，机器会针对各位同学的语法呈现，比如:

时态的丰富性(一般过去式，现在完成时，现在进行时等多个时态的呈现)；

同时较多中国考生在语法呈现的过程中会出现主谓不一致的现象 (例如：information加s, they doesn’t 这样的常见主谓不一致的问题)；

针对介词的使用: 较多同学在口语回答中会出现简单句的堆砌，缺乏定语从句、状语从句、宾语从句或是表语从句的使用;

04. 阿伦老师碎碎念语言学

今天阿伦老师就要给各位同学介绍一下语言学的泰斗之一，专注于话语分析的大师：泽里格·哈里斯

泽里格·哈里斯 Zellig Harris（1909/10~1992/5）

是美国著名语言学家，数理句法学家。“话语分析”一词最早于1952年由他提出。哈里斯的学术贡献体现在他把“分布关系的逻辑”作为结构语言学的基本方法，建立了一整套描写语言的严格的技术，对美国描写语言学作出了重大的贡献，其中1951年的出版的《结构语言学的方法》被认为标志着一个新的时期的诞生。

维度一：话语的结构

Harris指出，由于语言并不是由任意无序的语句排列而成，而是以连贯的话语为形式有条不紊地结合在一起，所以话语分析的基本任务就是寻找句子与句子之间在形式上的对等关系，并且将这些分布结构总结成一种语法，以解释话语的生成过程。由于受限于形式关系，对等结构的研究并不能解释意义之间的关联，然而，他最先指明了话语分析的重要方向。

维度二：话语的功能

话语研究者们随后将视野从形式延伸到功能、意义和使用。其中以功能主义语言观为核心。功能语言观认为语言是具有潜在意义的社会符号。符号理论和功能主义颠覆文本意义的本质性，强调情景语境。在功能语言观看来，话语分析在某种意义上可归结为符号分析。功能语法和社会符号理论的结合促成了多模态话语分析，将文本的疆界拓展至图形、图像、超文本等多种符号类型。