一、语言模型定义

一个句子是否合理，就看它的可能性大小如何（概率）。

image.png
image.png

语言模型缺点

• 參数空间过大：条件概率P(wn|w1,w2,..,wn-1)的可能性太多，无法估算，不可能有用；
• 数据稀疏严重：对于非常多词对的组合，在语料库中都没有出现，依据最大似然估计得到的概率将会是0

二、 马尔科夫假设

任意一个词出现的概率只同它前面的词有关。

image.png

三、高阶语言模型

N 元模型：假设一个词由前面的 N-1 个词决定，对应的模型稍微复杂些。，即 N-1 阶马尔科夫假设

image.png
为什么 N 取值一般很小

• N 元模型的大小（空间复杂度）几乎是 N 的指数函数。

• 三元或四元甚至更高阶的模型也不能覆盖所有的语言现象。在自然语言中，上下文之间的相关性可能跨度非常大，甚至可以从一个段落跨到另一个段落。这就是马尔可夫假设的局限性。

  
  image.png

优点

• 采用极大似然估计，参数易训练
• 完全包含了前 n-1 个词的全部信息
• 可解释性强，直观易理解。

缺点

• 缺乏长期依赖，只能建模到前 n-1 个词
• 随着 n 的增大，参数空间呈指数增长
• 数据稀疏，难免会出现OOV的问题
• 单纯的基于统计频次，泛化能力差。

统计语言模型的限制

基于最大似然估计的语言模型很容易训练，可扩展到大规模语料，时间表现良好。但模型缺乏对上下文的泛化。比如观察到 black car 和 blue car 并不会影响我们估计出现 red car 的概率，如果我们之前没有观测到它。

四、平滑技术

统计语料有限，存在数据稀疏，导致零概率问题

• 折扣法(Discounting)：从已有观察概率调配一点给未观察概率。
• 插值法(Interpolation)：将高阶模型和低阶模型做线性组合。
• 回退法(Back-off)：基于低阶模型估计未观察到的高阶模型。

避免 0-概率事件的方法使用平滑技术，确保为每个可能的情况都分配一个概率（可能非常小）。

Add one Smoothing
它假设每个事件除了语料中观测的情况外，至少还发生 1 次：

image.png

折扣法

古德-图灵估计原理：对于没有看见的事件，我们不能认为它发生的概率是零，因此从概率的总量中，分配一个很小的比例给这些没有看见的事件。

image.png

看见的那些事件的概率总和就要小于 1 了，因此，需要将所有看见的事件概率调小一点。至于小多少，要根据“越是不可信的统计折扣越多”的方法进行。

image.png
image.png
image.png

自然语言处理中，一般对出现次数超过某个阈值的词，频率不下调，支队出现次数低于某个阈值的词，频率才下调，下调得到的频率总和给未出现的词。（出现次数越少，折扣越多。对于未看见的词，也给予了一个比较小的概率。）

四、语言模型评估

困惑度：给测试集的句子赋予较高概率值的语言模型较好,当语言模型训练完之后，测试集中的句子都是正常的句子，那么训练好的模型就是在测试集上的概率越高越好，公式如下：

image.png

• 句子概率越大，语言模型越好，迷惑度越小。
• 困惑度是与语料有关的——两种语言模型只有在使用相同评价语料的情况下才可以比较困惑度。

五、神经语言模型

N-Gram 模型需要精心设计平滑方法，为了解决这个问题，Bengio 提出神经网络来构建语言模型，给定前 N-1 个词预测下一个词的任务。

• 使用神经网络语言模型，预测下一个词是各个词的条件概率
• 使用神经网络语言模型，可以得到词的分布式表示
• 词的相似度可以通过词向量的距离来衡量，未见词语序列的概率可以用相似词进行估计，很好解决了未登录词问题。

image.png

N-gram 神经语言模型的网络结构

image.png

• 输入层：将 context(w) 中的每个词映射为一个长为 m 的词向量，词向量在训练开始时是随机的，并参与训练
• 投影层：将所有上下文词向量拼接为一个长向量，作为 w 的特征向量，该向量的维度为 m(n-1)
• 隐藏层：拼接后的向量会经过一个规模为 h 隐藏层，该隐层使用的激活函数为 tanh
• 输出层：最后会经过一个规模为 N 的 Softmax 输出层，从而得到词表中每个词作为下一个词的概率分布

其中 m, n, h 为超参数，N 为词表大小，视训练集规模而定；训练使用交叉熵作为损失函数；当训练完成时，就得到了 N-gram 神经语言模型，以及副产品词向量

参考链接

• https://baijiahao.baidu.com/s?id=1674965527698937518&wfr=spider&for=pc
• https://speech.xmu.edu.cn/_upload/article/files/c6/45/f91c80f845cc98cfece8838f2078/c3db4245-3399-44bc-b9dc-fe58ba12ef80.pdf
• http://www.jianshu.com/p/3f22fc76a9e5
• https://www.jianshu.com/p/20961a714326
• https://blog.csdn.net/lilong117194/article/details/82018008
• https://www.jianshu.com/p/39bea9332025