学习地址:https://www.youtube.com/watch?v=DejHQYAGb7Q&list=PLkDaE6sCZn6F6wUI9tvS_Gw1vaFAx6rd6
blue 论文地址https://www.aclweb.org/anthology/P02-1040.pdf
简介:blue是一种用于文本翻译的算法 思想是与参考文本做对比 挑选n-gram相似度最高的可选输出
逻辑:
准确度计算:
标准一元分词计算=(目标语句中只要在参考语句中出现的单个词在目标语句中的词频)/目标语句长度
这样计算方式会导致输出不可信
改进一元分词计算=(取目标语句中单个词在参考语句中最多出现的次数为最大值相加)/目标语句长度
改进的分词计算同样适用于多元化分词
然而精度会随着元数的增加而下降
公式:
正则项:简洁度惩罚(BP)
r: 最佳参考长度
c: 目标语句长度
BP=1 if c>r
BP=exp(1-r/c) if c<=r
BLUE=BP*exp(∑wlogp) w=1/元树
模型评估:
blue可用于评估机器翻译与人工翻译的相关程度
网友评论