马尔可夫模型
如果 S 表示一连串特定顺序排列的词 w1， w2，…， wn ，
换句话说，S 可以表示某一个由一连串特定顺序排练的词而组成
的一个有意义的句子。现在，机器对语言的识别从某种角度来说，
就是想知道 S 在文本中出现的可能性，也就是数学上所说的 S 的
概率用 P(S) 来表示。利用条件概率的公式，S 这个序列出现的
概率等于每一个词出现的概率相乘，于是 P(S) 可展开为：
P(S) = P(w1)P(w2|w1)P(w3| w1 w2)…P(wn|w1 w2…wn-1)
其中 P (w1) 表示第一个词 w1 出现的概率；P (w2|w1) 是在
已知第一个词的前提下，第二个词出现的概率；以次类推。不难
看出，到了词 wn，它的出现概率取决于它前面所有词。从计算
上来看，各种可能性太多，无法实现。因此我们假定任意一个词
wi 的出现概率只同它前面的词 wi-1 有关(即马尔可夫假设），
于是问题就变得很简单了。现在，S 出现的概率就变为：
P(S) = P(w1)P(w2|w1)P(w3|w2)…P(wi|wi-1)…
(当然，也可以假设一个词又前面 N-1 个词决定，模型稍微复
杂些。） 接下来的问题就是如何估计 P (wi|wi-1)。现在有了大量机
读文本后，这个问题变得很简单，只要数一数这对词（wi-1,wi)
在统计的文本中出现了多少次，以及 wi-1 本身在同样的文本中
前后相邻出现了多少次，然后用两个数一除就可以了,P(wi|wi-1)
= P(wi-1,wi)/ P (wi-1)。
网友评论