美文网首页
video caption评价标准简介

video caption评价标准简介

作者: nowherespyfly | 来源:发表于2018-04-09 11:20 被阅读0次

    1.     BLEU

    1.1       N-gram precision

    观察如下示例:candidate1的1-gram precision为17/18,candidate2的1-gram precision为8/14.

    1.2       Modified n-gram precision

    对于下面的例句,其1-gram precision为7/7=1,显然这不是一个完整的句子,因此,这是不合理的。考虑改进的n-gram precision,如果一个unigram在reference sentence中已经被匹配过一次,则不会进行第二次匹配。

    因此,修正过的n-gram precision,考虑了这一因素,

    其中,

    这样,candidate的modified 1-gram precision为2/7,而不是7/7.

    1.3 Sentence brevity penalty

    对于某些很短的句子,如下面的例句,虽然不能构成完整的有意义的一句话,但是由于它的所有unigram都可以在reference sentences中得到匹配,因此它的modified n-gram precision为1。考虑到这一因素,我们需要引入一个brevity penalty factor,对过于短的句子进行惩罚。

    1.4  BLEU metrics

    综合以上因素,得到BLEU的计算公式为:

    一般,我们将N取到4. BLEU值越大,说明生成的句子越好。

    2. ROUGE-L

    不同于BLEU只考虑了precision,ROUGE是基于recall的相似度计算方法。

    2.1 LCS(最长公共子序列)

    2.2 ROUGE-L

    3.  METEOR

    3.1 创建alignment

    根据以下准则创建candidate到reference的unigram之间的alignment:

    1)每个candidate的unigram只能映射到0-1个reference的unigram

    2)Unigram map criteria

          Exact:只有两个unigram完全相同时可以进行映射

          Porter stem:两个unigram为同根词时可以进行映射,如“computers”和“computer”

           WN synonymy:两个unigram为同义词时可以进行映射。

          一般情况下,首先考虑exact,其次为porter stem,最后为WN synonymy。

    3)如果存在多种映射方式构成一个alignment,则选择有最少交叉映射数量的映射方式

    3.2 F-mean

    得到candidate和reference的unigram-alignment之后,计算它们的precision和recall,得到F-mean:

    3.3 惩罚系数

    考虑到如下的序列,ABCD和BDAC,虽然每个unigram都可以匹配上,但顺序完全不同,因此,引入一个惩罚系数,对这种不连续的情况进行处理。

    Chunk:连续且匹配的语句块,最小长度为1

    4. CIDEr

    4.1 TF-IDF

    在所有Image对应的reference senteces中频繁出现的n-gram,很可能是包含信息量很少的没有意义的词,应该给予更小的权重。因此,计算TF-IDF作为第k个n-gram的权重

    4.2 CIDEr

    将所有的n-gram得到的权重排在一起,可以得到一个向量。计算candidate和reference的余弦距离,得到CIDErn。

    一般,N取到4

    参考文献

    1. BLEU: a Method for Automatic Evaluation of Machine Translation

    2. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments

    3. CIDEr: Consensus-based Image Description Evaluation

    相关文章

      网友评论

          本文标题:video caption评价标准简介

          本文链接:https://www.haomeiwen.com/subject/dndmhftx.html