美文网首页
kappa test&&summarize

kappa test&&summarize

作者: zouxiaoyu | 来源:发表于2015-08-15 17:01 被阅读0次

当一些数据集是由人自己创造出来的,比如bug report的summary,这里就涉及到那个人做的东西别人是否认可的问题,如果好几个人一起做,可以让他们互相对对方的结果进行agreement的评估。

2010ICSM paper:Generating natural language summaries for crosscutting source code concerns 的Gail C. Murphy她们有一篇summarize bug report的文章,可以用kappa test来衡量其agreement的程度。

这篇文章中提到对text 进行summarize的classifier的EM和EMC。基于普通的email threads和meeting data。

paired t-test用来验证2队结果是否显著不同

相关文章

网友评论

      本文标题:kappa test&&summarize

      本文链接:https://www.haomeiwen.com/subject/kduwqttx.html