自然语言处理——5.2 语言模型（参数估计）

作者: SpareNoEfforts | 来源:发表于2018-10-03 21:13 被阅读20次

两个重要概念：

训练语料(training data)：用于建立模型，确定模型参数的已知语料。
最大似然估计(maximum likelihood Evaluation, MLE):用相对频率计算概率的方法。

最大似然估计求法

对于n-gram，参数 $p({\omega _i}|\omega _{i - n + 1}^{i - 1})$ 可由最大似然估计求得：
$p({\omega _i}|\omega _{i - n + 1}^{i - 1}) = f({\omega _i}|\omega _{i - n + 1}^{i - 1}) = \frac{{c(\omega _{i - n + 1}^i)}}{{\sum\nolimits_{{\omega _i}} {c(\omega _{i - n + 1}^i)} }}$
其中， ${\sum\nolimits_{{\omega _i}} {c(\omega _{i - n + 1}^i)} }$ 是历史串 $\omega _{i - n + 1}^{i - 1}$ 在给定语料中出现的次数，即 ${c(\omega _{i - n + 1}^{i - 1})}$ ,不管 $\omega _i$ 是什么。

$f({\omega _i}|\omega _{i - n + 1}^{i - 1})$ 是在给定 $\omega _{i - n + 1}^{i - 1}$ 的条件下 $\omega _i$ 出现的相对频度，分子为 $\omega _{i - n + 1}^{i - 1}$ 与 $\omega _i$ 同出现的次数。

举例

例如，给定训练语料：
“John read Moby Dick”，
“Mary read a different book”,
“She read a book by Cher”
根据 2 元文法求句子的概率？
解答：
$p(John| < BOS > ) = \frac{{c( < BOS > John)}}{{\sum\nolimits_{{\omega _i}} {c( < BOS > \omega )} }} = \frac{1}{3}$