beam search

作者: VanJordan | 来源:发表于2019-04-30 15:18 被阅读0次

只在测试的时候做，因为训练的时候有正确答案。
翻译模型可以看成是一个conditional的language model，给定一个源语言句子，然后在这个condition下生成目标语言的句子，因此生成的句子肯定不是惟一的。
但是greedy search的话基本得到的是次优解，相当于K为1的beam search
假设词表大小为3，包含[A, B, C]，Beam Width为2，生成第1个词的时候，对P(A)、P(B)、P(C)进行排序，选取概率最大的两个，假设为A，C生成第2个词的时候，将当前序列A，C分别和词表中的所有词进行组合，得到新的6个序列为AA、AB、AC，CA、CB、CC，然后同样取概率最大的两个作为当前序列，假设为AA、CC重复以上的过程，直到遇到结束符为止，最终输出2个得分最高的序列。