1. BLEU
1.1 N-gram precision
观察如下示例:candidate1的1-gram precision为17/18,candidate2的1-gram precision为8/14.
1.2 Modified n-gram precision
对于下面的例句,其1-gram precision为7/7=1,显然这不是一个完整的句子,因此,这是不合理的。考虑改进的n-gram precision,如果一个unigram在reference sentence中已经被匹配过一次,则不会进行第二次匹配。
因此,修正过的n-gram precision,考虑了这一因素,
其中,
这样,candidate的modified 1-gram precision为2/7,而不是7/7.
1.3 Sentence brevity penalty
对于某些很短的句子,如下面的例句,虽然不能构成完整的有意义的一句话,但是由于它的所有unigram都可以在reference sentences中得到匹配,因此它的modified n-gram precision为1。考虑到这一因素,我们需要引入一个brevity penalty factor,对过于短的句子进行惩罚。
1.4 BLEU metrics
综合以上因素,得到BLEU的计算公式为:
一般,我们将N取到4. BLEU值越大,说明生成的句子越好。
2. ROUGE-L
不同于BLEU只考虑了precision,ROUGE是基于recall的相似度计算方法。
2.1 LCS(最长公共子序列)
2.2 ROUGE-L
3. METEOR
3.1 创建alignment
根据以下准则创建candidate到reference的unigram之间的alignment:
1)每个candidate的unigram只能映射到0-1个reference的unigram
2)Unigram map criteria
Exact:只有两个unigram完全相同时可以进行映射
Porter stem:两个unigram为同根词时可以进行映射,如“computers”和“computer”
WN synonymy:两个unigram为同义词时可以进行映射。
一般情况下,首先考虑exact,其次为porter stem,最后为WN synonymy。
3)如果存在多种映射方式构成一个alignment,则选择有最少交叉映射数量的映射方式
3.2 F-mean
得到candidate和reference的unigram-alignment之后,计算它们的precision和recall,得到F-mean:
3.3 惩罚系数
考虑到如下的序列,ABCD和BDAC,虽然每个unigram都可以匹配上,但顺序完全不同,因此,引入一个惩罚系数,对这种不连续的情况进行处理。
Chunk:连续且匹配的语句块,最小长度为1
4. CIDEr
4.1 TF-IDF
在所有Image对应的reference senteces中频繁出现的n-gram,很可能是包含信息量很少的没有意义的词,应该给予更小的权重。因此,计算TF-IDF作为第k个n-gram的权重
4.2 CIDEr
将所有的n-gram得到的权重排在一起,可以得到一个向量。计算candidate和reference的余弦距离,得到CIDErn。
一般,N取到4
参考文献
1. BLEU: a Method for Automatic Evaluation of Machine Translation
2. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments
3. CIDEr: Consensus-based Image Description Evaluation
网友评论