一个句子是否合理，就看它的可能性大小如何（概率）。
image.png
image.png
马尔科夫假设：任意一个词出现的概率只同它前面的词有关。
image.png
高阶语言模型
N 元模型：假设一个词由前面的 N-1 个词决定，对应的模型稍微复杂些。，即 N-1 阶马尔科夫假设
image.png
为什么 N 取值一般很小
- N 元模型的大小（空间复杂度）几乎是 N 的指数函数。
-
三元或四元甚至更高阶的模型也不能覆盖所有的语言现象。在自然语言中，上下文之间的相关性可能跨度非常大，甚至可以从一个段落跨到另一个段落。这就是马尔可夫假设的局限性。
image.png
2、模型的训练、零概率问题和平滑方法
古德-图灵估计原理：对于没有看见的事件，我们不能认为它发生的概率是零，因此从概率的总量中，分配一个很小的比例给这些没有看见的事件。
image.png
看见的那些事件的概率总和就要小于 1 了，因此，需要将所有看见的事件概率调小一点。至于小多少，要根据“越是不可信的统计折扣越多”的方法进行。
image.png
image.png
image.png
自然语言处理中，一般对出现次数超过某个阈值的词，频率不下调，支队出现次数低于某个阈值的词，频率才下调，下调得到的频率总和给未出现的词。（出现次数越少，折扣越多。对于未看见的词，也给予了一个比较小的概率。）
网友评论