带稿同传：眼睛和耳朵，谁说了算？

以下文章来源于广外高翻 口译教育与研究中心 ，作者许芳滢

带稿同传：眼睛和耳朵，谁说了算？

本期下午茶，我们来点硬核茶包，关注需要完成双模态认知加工任务的带稿同传。你可能要问了，模态是什么？

模态（modality）其实就是指接收信息的感官渠道，例如听觉、视觉、触觉等。带稿同传中，译员既要看发言稿（视觉），还要听现场发言（听觉），接受两种模态的输入，再进行译语产出。

欸，怎么你说得好像是要多完成一道工作，难道不是有稿子辅助，译员又能听又能看，双剑合璧，这任务应该更容易呀？

实际情况并非如此：认知加工研究表明，对没有感官障碍的人而言，视觉是主导感觉，自带主角光环。人们同时受到视觉和听觉双模态刺激时，更多的是对视觉刺激作出反应，这就是视觉主导效应（Colavita Visual Dominance Effect）。在真实口译场合我们也不难发现带稿同传译员存在照稿翻译或未听先译的现象。然而，口译职业准则中要求译员侧重听觉输入（Chmiel et al 2020：38），因为要是发言人完全照稿子来，那么问题不大；但要是TA来了一段freestyle，这可咋办？

简直是怕啥来啥，Messina（1998）的研究表明，母语或非母语会议发言人在讲话时都会或多或少地对发言稿作出补充修正，也就是说视觉和听觉的输入冲突是译员逃不开的挑战。在这种现实情况下，发言稿对同传而言究竟是助力还是障碍？为了找到答案，我们来品品Chmiel等学者开展的这项带稿同传实证研究。

研究背景

在多模态加工口译研究领域，前人的同传理论模型和实证研究都表明，带稿会增加译员的认知负荷，但同时也会提高译语的准确性、提升同传的产出质量（Chmiel et al 2020：39-41）。然而，这部分实证研究探讨的都是视觉输入和听觉输入（即发言稿和实际发言）一致的情况，没什么人关注真实口译中存在的输入冲突（比如发言人口误或者脱稿的即兴发挥等）。

在多模态加工认知研究领域，视觉主导效应反复得证。在双模态实验中，模态间一致的刺激有促进作用，会使认知反应加快，而不一致的刺激则会减慢认知反应（ibid：42-43）。但是研究者考察的都不是真实的认知加工任务，比如他们会用闪光和哔声分别代表视觉和听觉模态的刺激，并且考察受试的反应。要是换到口译这项真实任务中考察，我们也能得出一样的结论吗？输入一致时发言稿会促进口译任务，输入冲突时发言稿就会阻碍口译的完成吗？选文作者准备在这个相对空白的领域大展拳脚。

研究方法

为了考察输入一致和输入冲突情况下视听模态输入对口译的影响，研究者选择了可以对输入一致性这项条件进行干预控制的实验法。

1️⃣实验设计：

研究者设计了一项2×3双因素实验。其中，2个自变量分别是输入一致性和词汇类型，输入一致性有一致和不一致两个水平，词汇类型有专有名词、数词和控制词三个水平，2个因变量则是口译准确率和词汇注视时间。此处的一致性指的是语义一致与否，例如发言稿中是“增加”，但发言人是在实际发言中说的是“减少”，这种就属于语义不一致的词汇。

2️⃣材料准备：

实验材料来自欧盟农业事务专员Phill Hogan于2014年发表的一次演讲。研究者在实际发言中一共选出了60个词作为刺激项，其中有20个专有名词（姓氏和地名）、20个不同量级的数词（“1960s”, “30%”, “1.2 billion”, ...）、20个控制词（除专有名词和数词外的实词，如形容词、动词和其它名词），被选词汇平均分布在发言中。

在实际发言内容基础上，研究者准备了两份发言稿A稿和B稿。每份发言稿中有10项与实际发言语义一致的专有名词以及10项语义不一致的专有名词，数词和控制词的分布同理。每份稿件共有30个语义一致项和30个语义差异项，且在发言稿A中一致的词项在发言稿B中则不一致。

在发言稿中设置语义不一致的词项时，专有名词会被替换为同样真实存在的姓氏或地名，数词中具体数字会变化但是数量级保持不变（如1.2billion改为3.9billion），控制词则会替换为相同词性、词长词频相似、可以作为原词替换词的词汇。所选词项和其对应译语平均相似度可根据编辑距离衡量，其标准化编辑距离均值为0.72（0.2-1.0，SD=0.21）。

编辑距离(Edit Distance)：又称Levenshtein距离，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。一般来说，编辑距离越小，两个串的相似度越大。

研究者的文本设计和词项设置可以尽量排除语义一致性和词汇类型以外的词汇因素（如词汇难度）对于同传实验的影响。值得一提的是，词汇类型的选择也体现了研究者的一点巧思，之所以选择专有名词和数词，是因为这两类词属于非语境信息（Chmiel 2015），很难从上下文推断出来，必须依赖直接的输入，可以最大程度体现多模态输入对于同传的影响。

3️⃣实验流程：

选文作者通过翻译机构有偿邀请了24位自由会口译员参与一项英语（L2）译入波兰语（L1）的带稿同传实验。在实验前，发言人向被试简要介绍了发言语境；在实验中，研究者播放发言人录音，随机将发言稿A或B分配给译员，在屏幕上同步展示发言稿，要求被试进行带稿同传，并且用眼动仪记录被试的眼动数据。

预期结论

①语义一致性→口译准确率：语义一致项比语义差异项口译准确率高；

②词汇类别→口译准确率/词汇注视时间：专有名词和数词比控制词口译准确率低、注视时间长，其中数词准确率最低、注视时间最长（尤其是在语义不一致的情况下）；

③语义一致性→词汇注视时间：语义一致性对词汇注视时间有影响。

总预期结论：由于多感官信息整合，发言稿在与实际发言语义一致时对同传有促进作用；鉴于视觉主导效应，发言稿在与实际发言语义不一致时对同传有阻碍作用。

结果与讨论

口译准确率=口译准确项/设置词项总数，口译准确项统计流程如图1所示。

图1 设置词项判断流程 （根据Chmiel et al 2020：46整理，其中口译不准确项中删去了没有注视时间的词项，以尽量排除译员策略性省略的可能性）

01

在双模态输入语义一致时，译员处理得更好，口译准确率更高；语义不一致时准确率低主要是受到视觉模态输入（发言稿）的干扰。

统计结果：语义差异项口译准确率低于语义差异项，且语义差异项中视觉干扰项占比最大，因此造成不一致项口译准确率低的原因主要是视觉模态的干扰。

原因分析：这些可能是译员的策略选择或自然反应导致的。一方面，译员在没有听到源语信息或者视听模态源语信息冲突时，会采用风险规避策略，依赖发言稿、避免产出错误；另一方面，多感官输入时视觉占主导，译员无意识地集中于视觉输入的信息。

02

不同类型词汇中数词口译准确率最高。

统计结果：数词准确率显著高于控制词及专有名词准确率。但是，进一步统计发现，语义一致性和词汇类型存在交互效应，即语义不一致时，控制词准确率显著高于数词和名词。整体来看，数词准确率最高，根据语义一致性区分后，又不是最高了，大概这就是高了但没完全高吧......

原因分析：嘿！没想到吧，关于数词准确率的结论与预期结论相悖，但研究者觉得虽是意料之外、也是情理之中啦。毕竟数词一向是口译中的问题制造者，译员会分配额外的精力去处理这部分词汇；而且数词属于跨语言直接映射，不需要纠结译法，在语义一致的情况下可以抵消多模态加工增加的认知负荷，在不一致的情况下直接映射也可以让译员快速从心理词典中找出对应项，争取时间处理视听模态输入冲突，减弱语义不一致带来的负面影响。

03

语义差异项受到的注视时间更长，各类型词汇注视时间没有差异。

统计结果：语义差异项注视时间显著长于语义一致项；而词汇类型对注视时间没有显著影响。

原因分析：相比起语义一致项，译员注视语义差异项的时间更长，意味着译员注意到了模态间的输入冲突，并没有选择移开视线、避免视觉模态源语干扰，反而是聚焦于语义差异项、试图解决冲突。

04

双模态输入语义一致对同传没有促进作用，但语义不一致对同传有阻碍作用。

统计结果：在语义一致的条件下，跳读比、平均注视时间和口译准确率都不相关。但在语义不一致条件下，被试跳过的语义差异项越多，口译准确率越高；被试注视语义差异项时间越久，口译准确率越低。

选文作者认为，在语义一致情况下，看没看稿跟译得准不准完全没关系，这不就证明带稿对同传没啥帮助吗？而在不一致情况下（见结论③），译员注视语义差异项的时间更长，企图处理听到的和看到的内容不一样这个bug，但是似乎效果不太好，看得越久，反而错得越多。在语义不一致情况下，带稿简直就是同传绊脚石！

结论

同传本身就是一项高认知负荷任务，带稿就是增加了视觉模态通道进行源语输入，这对同传会造成一定影响。在视觉和听觉模态输入一致的情况下，视觉输入（发言稿）对同传没有促进作用；但是在输入冲突的情况下，视觉输入会增加源语干扰，对同传造成负面影响。

专栏手记

这项研究告诉我们，带稿并非同传福音，在真实口译场合中面临发言人的临场发挥，过度依赖发言稿反倒会让译员手忙脚乱哦。该研究也不能完全否定带稿对同传的促进作用。在这项实验中，视觉输入和听觉输入不一定是同时进行的，可能存在“眼耳差”、“眼口差”，也就是说发言稿可能会对译员漏听的部分有提示作用，从而促进同传产出。而且研究者只考察了词汇层面的变量，结论具有局限性。在视听输入语义一致时，发言稿可能在句子甚至语篇层面对同传译员的源语理解和译语产出有所助益，这就需要更多的研究来告诉我们答案啦。

PS: 在阅读这篇文献时，笔者一开始觉得研究者做了很多没必要的事儿，比如统计分析词汇类型和口译准确率的关系，这对主要研究目的也没啥帮助呀，这研究不是想看带稿对同传的影响吗？直到读到居然有跟预期结论相悖的结果，笔者才知道果然是自己too young，too naive，好不容易收集的数据当然是要翻来覆去、反复捣鼓，说不定会有意外惊喜~

PPS: 统计学的知识也非常重要，不然我们很有可能看不懂大佬的研究，到了自己研究的时候，面对来之不易的数据也没有花式统计分析它的能力T^T

选文文献：

Chmiel, Agnieszka, Przemysław Janikowski, Agnieszka Lijewska. 2020. “Multimodal processing in simultaneous interpreting with text: Interpreters focus more on the visual than the auditory modality.” Target 32(1): 37-58. https://doi.org/10.1075/target.18157.chm

参考文献：

[1] Chmiel, Agnieszka. 2015. “Przetwarzanie w tłumaczeniu symultanicznym.” In Dydaktyka tłumaczenia ustnego, edited by Agnieszka Chmiel and Przemysław Janikowski, 227–247. Katowice: Stowarzyszenie Inicjatyw Wydawniczych przy współpracy UŚ i UAM.

[2] Messina, Alessandro. 1998. “The Reading Aloud of English Language Texts in Simultaneously Interpreted Conferences.” Interpreting 3 (2): 147–161. https://doi.org/10.1075/intp.3.2.02mes

拓展阅读：

Chmiel, Agnieszka, Przemysław Janikowski, Anna Cieślewicz. 2020. “The eye or the ear? Source language interference in sight translation and simultaneous interpreting.” Interpreting 22(2): 187–210. https://doi.org/10.1075/intp.00043.chm

转载编辑：陈雨

关注VX公众号“语言服务行业”，了解更多语言服务行业与翻译技术相关的资讯和洞察~