数据:
来自纽约市教育局的学生层面的管理数据
整个数据集包括从1990-1991学年到2010-2011学年纽约市大约180万名3-8年级学生的年度信息。
主要信息:
每个学生的学校和年级、每个学生映射到他或她的数学老师和英语老师(他们在小学通常是同一个人)、每个学生的年终数学和英语考试成绩(遵循惯例,按年度、年级和科目对每次考试的考试分数进行标准化,以便每年每个年级的考试分数分布在英语考试和数学考试中的平均值为零,标准偏差为一。标准化的好处:(1)教师VA和回归系数易于解释,(2)根据这段时间内发生的考试分数的变化进行调整,(3)估计系数不受纽约市教育系统总体变化的影响,因为这些变化被每年的考试分数的标准化所吸收。)、每个学生的一些人口统计信息,特别是学生的性别和种族。
样本:
本文从三个方面进行了样本限制。
(1)本文中使用的识别依赖于一个学生的部分同伴以前就读过不同的学校。
(排除同一个年级里的转学。不考虑从幼儿园到中学8年级都是同一所学校的那些K-8学校。在回归中加入中学第一年的信息,减少K-6和K-5不同带来的影响。)
这种情况在每个年级都会发生,因为总有一些学生转学,但我们可能会认为在小学或中学中途转学的学生会因为潜在的内生原因而转学。
因此,在本文中,我只关注从小学到中学的过渡。在实践中,关注这一过渡比将分析局限于一个年级稍微复杂一些。这既是因为纽约市有许多K-8学校,也是因为纽约市中小学的构成随着时间的推移发生了变化,K-6学校的数量下降,K-5和K-8学校的数量增加。因此,我将每个学生在中学第一年的信息包括在回归中,不管这是几年级。本文不包括K-8学校的任何学生。
(2)我的实证策略依赖于比较一组在特定年份从特定小学过渡到特定中学的学生与一组在前一年进行相同过渡的学生在考试中的得分。这意味着,任何非传统的小学到中学的学生都不能包含在样本中,因为没有对照组的学生在上一年完成了相同的小学到中学的过渡。这一限制也导致我放弃了任何没有在纽约市公立学校上小学的学生。
(3)删去所有缺少中学考试成绩的学生。
(4)删去特殊教育的学生,他们在单独的特殊教育教室上课,这些教室通常是联合授课的,许多学生在这里免试年终考试。
(5)如果所有学生都缺少特定规范中的控制变量,则回归样本会删除整个学生群体(即,在同一年从同一小学过渡到同一中学的一组学生)。这一标准主要影响控制个人中学教师的规范,因为有少数几所中学我没有观察到学生与教师之间的联系,因此我无法估计整个学生群体的老师的VA。
表1 描述性统计
测试分数的标准化是删去没有滞后一期的分数的个体之前进行的。
第一列表示所有在连续两年中有考试成绩的在纽约市公立学校上学的学生的情况;第二列将样本限制在中学一年级的学生中,删去了没有在纽约市上中学或者上的是K-8的学校的学生;第三列就是后面回归用到的样本。
教师VA的估计
本文使用与Chetty、Friedman和Rockoff(2014a)相同的技术估算VA。
1、排除不受教师影响的那些影响学生成绩的因素。在固定的student observation向量上对学生的测试分数进行回归
在主要模型中,我将学生的滞后数学和英语考试分数的灵活立方函数作为学生观察值。
2、回归得到“学生-科目-年”残差,然后在教师-科目-年水平上取平均值。这些教师-学科-年指标将教师对学生的影响以及学生考试成绩的所有未观察到的决定因素结合起来,这意味着这些教师学科年指标可以被认为是真正的教师VA加上一个error term。
3、为了从教师VA估计中去除同期误差项,将这个累计残差对不同年份同一教师科目的教师科目年度累积残差进行回归。
描述性统计——图1的A组绘制了估计教师VA的分布。μj,s,t的标准偏差,数学为0.13,英语为0.10。总的来说,那些能有效提高学生数学成绩的小学教师也能有效提高学生的英语考试成绩。面板B显示了这一点,该面板显示,在教师年内,他们估计的英语VA和数学VA之间的相关性为0.7004
虽然单个教师的估计VA随时间而波动,但教师VA的绝大多数变化是教师之间的。这可以从面板C中的自相关估计中看出。虽然教师学科年残差的估计自相关从未超过0.5,但教师估计VA的自相关要高得多,介于0.8到0.95之间。
实证模型
本文用到的主要回归模型是一个加权最小二乘。这里要详细介绍一下因变量和自变量的构建方式。
首先,定义一个cohort,c(e, m, t),表示在年份t从小学e升学到中学m的学生们。
表示这些学生在年份t学科s的平均考试成绩
表示学生在年份t-1学科s的平均考试成绩
Delta表示前后两年进入从同一所小学进入同一所初中的两个在初中的第一年学科s平均考试成绩的差。
是指小学e在年份t - 1最高年级的教师在科目s上的平均VA
Delta表示小学e最高年级平均教师VA在t - 1年和t - 2年之间的变化。
主要自变量delta peer 由这个式子表示。
(1)确定每个小学的权重。这意味着忽略了t年和t−1年来自不同小学的中学生m所产生的差异。
(2)利用所有小学高年级教师构建每个小学的平均教师VA,而不是把重点放在继续升入初中的学生的教师身上。
只反映邻近小学平均VA的变化,不受学生到中学或小学学生到教师的排序方式的变化的影响。
识别假设
(1)主要的同伴变量需要是外生的:学生的邻近小学的教师人员变化与学生考试成绩的不可观察的决定因素不相关
(2)学生所在的小学高年级的平均教师素质的年与年的变化需要有意义的变化。
因此,构建同龄人的平均水平需要对相对较少的教师平均,而不是对大量学生平均。这意味着有更多的变化,例如,一个队列的同龄人的平均前教师VA的年变化,而不是一个队列的同龄人的平均基线测试分数的年变化。
(3)第四节讨论的矩量估计方法提供了真实教师VA的无偏估计,或者等价地说,传统教师VA估计中存在的唯一偏倚是由于本文研究的溢出效应。
结果汇报
同伴以前教师的质量对学生的学业成绩有显著正向影响,这种积极影响在数学和英语学科上都成立,且估计系数均为0.5左右。为了对这一估计系数进行解读,作者列举了如下例子:
因此,一个更恰当的比较可能是比较同伴之前教师VA的平均分布对学生考试成绩的影响,相对于学生自己的之前教师VA的分布对学生考试成绩的影响。考虑到两个分布的标准差的差异。在纽约市,同伴之前老师VA的平均分布的标准差大约是一个学生自己之前老师VA分布标准差的50%。
同伴前任老师的平均VA分布对学生考试成绩的影响,是学生自己的前任老师VA分布的48%。
测试设计的有效性
接下来,作者进行了一系列的测试,来说明回归模型得到的是同伴之前老师的VA与学生考试成绩的因果关系。
首先,人们很自然会产生的一种担忧是,会不会存在某些社区冲击neighborhood shocks既吸引了高质量的教师,又独立地导致社区学生考试成绩的提高。
1、 如果是这样的话,我们可以预期一所小学的人口统计信息与邻近小学的增值变化相关。
2、 我们还可能观察到教师进入和离开时存在显著的社区内相关性,进入一所小学的好教师与进入邻近小学的好教师存在相关性。
3、 最后,教师的入学和离校可能存在显著的校内相关性,一名在特定年份或年级入学的好教师与未来或前几年或不同年级入学的其他好教师存在相关性。
在图2中,作者先是考察了不同学校间教师增值效应变动的相关性,再是考察了同一学校内部教师增值效应变动的跨期相关性,最后考察了小学毕业班教师VA变动和倒数第二年级教师VA变动之间的相关性。结果均发现关联性比较微弱。
表4列示了反事实检验的结果,作者发现周边小学教师平均增值效应的变化不能被小学生的基准考试成绩、种族构成、非英语母语者的比例、享受免费午餐的学生比例等特征所解释。
作者接下来做了两个安慰剂检验。
1学生是否会受到同伴所在小学过去或者以前教师VA变化的影响?
作者在模型中纳入了向前两年和滞后两年的同伴所在小学毕业班教师的VA,结果发现只有学生同伴以前老师VA的同期变化与他们自己的考试成绩有关,但是过去的或未来的教师VA变化对他们的考试成绩没有影响。
2、学生是否会受到他自己未来同伴的影响?
基于此,作者将模型中的核心自变量分别替换为未来同伴以前教师的VA和未来同伴当前教师的VA,结果均未发现显著影响。
表6前两列:小学到中学的转变发生在五年级和六年级之间,这意味着要评估一名学生相邻小学四年级教师的转岗会如何影响她五年级的考试成绩,而不是评估一名学生相邻小学五年级教师的转岗会如何影响她六年级的考试成绩。
表6后两列:当小学到中学的过渡发生在五年级到六年级之间时,这意味着要评估五年级教师在学生邻近小学的过渡如何影响她五年级的考试成绩,而不是观察他们如何影响她六年级的考试成绩。
作者由此认为在学生B成为学生A的同伴之前,B以前教师的质量对学生A没有影响;然而,一旦B成为A的同伴,B以前的教师质量就会对A产生重大影响。
溢出效应如何影响教师增值效应?
作者详细讨论了同伴溢出效应如何影响教师价值的衡量。
作者定义了教师的直接价值,也就是对她自己的学生的成绩的影响,和间接价值,也就是对她学生未来的同伴产生的影响。
每个学生的 教师的直接效应就是传统的教师VA,有两种具体的衡量方式。考虑到老师的间接价值是在一年之后产生的,因此为了可以比较,直接价值也应该换算到一年之后,也就是考虑fade out。在方法1中,经过直接测算,教师VA每增加一个单位,自己学生的下一年成绩会提高0.55个标准差。在这种情况下,教师对学生的直接影响=VA×0.55。但是,这种方法可能会低估教师对学生的直接影响,因为教师可能影响学生的长期成绩。因此,在方法2中,教师对学生的直接影响=VA,长期的“fade-out”效应被忽略了。
作者通过以下三种方法估算教师的间接效应:方法1,假设来自同一所小学的个人内部之间没有溢出效应;方法2,假设来自同一所小学的个体之间存在溢出效应,但之前有相同老师的个体之间没有溢出效应;方法3,假设所有个体之间有溢出效应,无论他们是否来自同一所学校还是是否有相同的老师。
表7列示了间接效应占直接效应的比重,也就是溢出效应占到传统增值效应的比重。总的来说,教师间接效应占到直接效应的比重可以达到30%-90%之间,由此可见,忽略溢出效应可能使得本身对增值效应的估计产生偏差。
由于同伴溢出效应的存在,传统的教师VA估计方法是存在偏误的。比如一个班级里,有一半的学生以前的老师质量较低,这些学生就会影响到另一半学生,从而这个班级现在的老师的VA估计值就会受到影响。
为了解决这个问题,作者参考CFR的方法构建了距估计,同时估计同伴溢出效应和教师VA。
距条件由式子3-9所示。其中(3)和(8)是从本文的基本回归方程中得来的,(4)(5)(6)(9)则参考了CFR的方法,只是(6)式中多了一项与同伴溢出效应相关的项,M是学生i的同伴之前的S科目老师的平均老师VA,由式子(7)给出。
作者用迭代的方法来求解同伴溢出效应的系数伽玛和教师VA。首先假设伽玛=0,用(4)(5)(6)(9)估计VA1,就得到了传统的VA估计值,将这个VA用在(3)(8)式得到伽玛1。利用VA1和7式,加上伽玛1,估计出新的VA2,并得到伽玛2.一直进行下去,直到伽玛K-1与K之间的差距小于0.001。
图3表明,调整后的VA与传统估计的VA有很强的相关性,用调整后的VA来估计本文的主要回归方程,得到的系数是0.527,跟传统VA估计出来的系数0.53非常接近。
说明至少在纽约市,考虑溢出效应并没有使教师排名发生较大变化。
溢出效应究竟溢出了什么,又会溢出给谁?
最后,作者对同伴溢出效应的潜在表现形式及产生机制进行了探讨。具体而言,本文讨论了溢出效应发生在学科内部还是学科间,以及发生在什么样的子群体内部?
同伴溢出效应究竟是在认知技能层面的溢出还是在非认知技能层面的溢出?由于缺少非认知技能层面的数据,本文无法进行准确解答,但是本文通过研究溢出效应是发生在同一个学科里还是发生在不同学科之间,间接说明了同伴溢出效应至少存在认知技能方面的溢出。这是基于一个假设:相比于认知技能来说,非认知技能在不同学科之间的不同比较小。
而表8和表9都反映出,同伴溢出效应主要发生在相同学科而不是学科之间。
接下来,本文提出了推动溢出效应的两个可能机制。
第一个机制是学生之间的同伴互动行为,比如互相讲解习题等。第二个机制是课堂中的动态变化,比如一个学生有非常好的数学基础,那么他的中学数学老师就有更多的时间和精力去关注课堂上的其他学生,从而对他们产生溢出效应。
如果这种溢出效应主要发生在同伴互动中,这将说明同伴间互动可能比课堂动态效应更重要。
尽管数据并没有提供学生的朋友交往信息,但作者认为学生更有可能跟和自己同种族或者同性别的学生交朋友。
具体而言,作者按种族和性别区分了4个队列,并针对每个种族-性别队列去构建了四种不同的衡量“同学以前的教师VA”的指标(同种族同性别/同种族不同性别/不同种族同性别/不同种族不同性别)。
表10-11的回归结果显示,溢出效应主要发生在同一种族内部,但同一性别学生内部的溢出效应并不明显。这一结果说明社交网络在传播溢出效应中起到了至关重要的作用。此外,它说明了为什么这里估计的溢出效应要显著大于之前估计的同群效应。以往的同群效应估计多依赖于随机分班的自然实验,但在随机分班的模式下,学生们尚未建立起密切的社交网络,在此情境下同群效应可能被低估。
结论
网友评论