首先解释下，什么是Internal Validity 和 External Validity。前者偏重理论证实，即find out the reason why something work，其往往用控制变量的方法最后pinpoint出起作用的factor。而后者偏重于实用性和泛化性，其更侧重这个东西是不是能广泛并真实有效的应用到各种现实状况中去。
现在很多主流的会议比如ICSE，FSE，ASE等或者期刊如EMSE（Empirical Software Engineering）都有大篇幅的Empirical Study。作者要探究的是，对于SE，如何来看待Internal和external validity这2样东西，毕竟，就像P和R一样，往往这2种很难同时达到一个比较好的一个状态，那对于这种情况，又该如何来balance呢，且听听program-committee和editoral-broad members的看法。对于Empirical Study中replication的部分，状况如何又该如何对待，这又是关注的一点。
作者选取了ICSE，FSE，EMSE的文章，ask了一些top会议和期刊的很大程度上决定你论文是否accept的editor member之类的，得到了一些如下的结论：
1）大家普遍lack wareness of internal | external validity
2）普遍更喜欢external validity with practical relevance
3）目前SE中做replication study的并不多，虽然大家都觉得挺有意义，但可能由于本身SE中缺乏replication standard和出力不讨好（SE中由于一些实验细节不明，执行人，项目等不同，将实验完全重现出来本身就不容易很耗精力，关键是做出来的东西，发表出去却还得不到别人的认可，有的甚至觉得并没有为SE带来价值可能直接给拒掉，这个跟物理生物学上做实验不同，在很多领域，只有可以重现的实验才有接收的价值，但SE本身性质还是不大一样。）等原因，还是没有太多人愿意去做这个replication，虽然它可能还是比较重要的一块，不过，换成我，我也不想去重现别人做过的东西，除非是做算法对比实验。还是更愿意去找新的问题。
今天想了下，感觉还是要改变下论文的阅读方式，增加泛读和快速阅读的能力，首先扩展下知识面，等再比较相关的东西再认真研读学习其思路。
以上！
zou@NanChang
2015-07-15
网友评论