统计语言模型

统计语言模型（Statistical Language Model）即是用来描述词、语句乃至于整个文档这些不同的语法单元的概率分布的模型，能够用于衡量某句话或者词序列是否符合所处语言环境下人们日常的行文说话方式。</span></span>

1. 在上世纪七八十年代，基本上模型的表现优劣往往会取决于该领域数据的丰富程度。IBM 曾进行过一次信息检索评测，发现二元语法模型（Bi-gram）需要数以亿计的词汇才能达到最优表现，而三元语法模型（TriGram）则需要数十亿级别的词汇才能达成饱和。
2. 本世纪初，最流行的统计语言模型当属 N-gram，其属于典型的基于稀疏表示（Sparse Representation）的语言模型。
3. 近年来随着深度学习的爆发与崛起，以词向量（WordEmbedding）为代表的分布表征（Distributed Representation）的语言模型取得了更好的效果，并且深刻地影响了自然语言处理领域的其他模型与应用的变革。
4. 除此之外，Ronald Rosenfeld 还提到了基于决策树的语言模型（Decision Tree Models）、最大熵模型以及自适应语言模型（Adaptive Models）等。

神经网络语言模型（NNLM）

论文在这里，
http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf

该论文总结如下，
一、语言模型

1. 语言模型是什么
   语言模型是自然语言处理的一大利器，是NLP领域一个基本却又重要的任务。它的主要功能就是计算一个词语序列构成一个句子的概率，或者说计算一个词语序列的联合概率，这可以用来判断一句话出现的概率高不高，符不符合我们的表达习惯，它是否通顺，这句话是不是正确的。
2. 语言模型有什么用
   语言模型可以用于机器翻译、语音识别、音字转换和文本校对等诸多NLP任务中，它可以从多个候选句子中选出一个最为靠谱的结果。
3. 语言模型的发展
   3.1 语言模型的基本形态
   基本形态很简单，就是按照乘法定理计算词语序列的联合概率，但这样模型参数就太多了，会导致过拟合，这是因为发生了维数灾难。
   3.2 N-Gram模型
   N-Gram模型是一种经典好用的语言模型，它基于N-1阶马尔可夫链，认为当前词仅与前N-1个词有关，这就解决了维数灾难这个问题。使用N-Gram模型时，由于训练语料规模的限制，会有许多未见语言现象，存在数据稀疏的问题，需要采用数据平滑的方法避免值为零的模型参数（也就是条件概率）出现。
   3.3 DNN语言模型
   现在只看了Bengio的这篇文章，也就是如何用神经网络构建N-Gram模型。

二、用神经网络构建N-Gram模型
N-Gram模型需要精心设计平滑方法（因为数据稀疏的问题），为了解决这个问题，Bengio提出用神经网络来构建语言模型，也就是用神经网络来估计下一个词是各个词的条件概率。用神经网络构建语言模型，还能顺便得到词的分布式表示形式——word embedding，由于词的相似度可以通过词向量的距离来衡量，也就是计算向量的余弦相似度，于是未见词语序列的概率可以用相似词进行估计，也就避免了数据稀疏的问题。
Bengio将用神经网络构建N-Gram模型的任务转换成给定前N-1个词然后预测下一个词的任务，这是在无标注文本上以无监督学习的方式构建语言模型。
看神经网络相关的文章，要抓住重点，那就是：模型的输入输出，模型的结构，模型所对应的优化问题，以及模型为什么能够work。

1. 神经网络模型的输入输出
   将前N-1个词对应的词向量首尾拼接作为神经网络的输入，神经网络的输出有V个节点，这些节点的输出经过softmax激活函数后，就归一化为给定前N-1个词，下一个词是该词的条件概率，于是就得到了N-Gram模型的参数，也就构建了N-Gram模型。
2. 模型结构
   包括两部分，分别是Embedding层和前馈神经网络。
   Embedding层：负责将词语转化为词向量。
   神经网络：这是一个三层的前馈神经网络，包括输入层，隐藏层和输出层，都是全连接层。输入层有(N-1)m个节点，隐藏层有h个节点，输出层有V个节点，隐藏层的激活函数是双曲正切函数tanh()，这是一个S型函数，输出层的激活函数是softmax。
3. 优化问题
   大部分机器学习算法其实都是一个最优化问题，神经网络也不例外。这里的目标函数是语料库的对数似然函数加上一个正则项，优化变量是模型参数，通过随机梯度提升的方法，调整参数，使得目标函数达到最大即可。
   目标函数中的语料库对数似然函数其实就是对数条件概率的累加，也就是模型的输出取对数后的累加。
   注：语料库的似然函数，P(corpus)=P(S1)P(S2)...P(Sn)，句子出现的概率又可以展开为模型输出的连乘形式，取对数是为了简化计算，将乘法计算变为加法计算。
   PS：在实际应用中，例如基于TensorFlow或者Keras训练LM，我们一般都先基于corpus生成输入输出对，即输入前N-1个词，输出下一个词，然后使用这些有label的数据训练LM。
4. why it work
   我们通过语料库，以无监督学习的方式构建了一个语言模型，那么我们的训练语料当然会契合语言模型，于是可以认为这些训练语料是由这个语言模型生成的（事实上，LM也可以生成文本）。现在语言模型的参数未知，但是我们有结果，于是这是一个统计推断的问题，使用MLE估计模型参数即可。再来看神经网络的目标函数，现在就是要调整模型参数使得出现该训练语料的概率达到最大。

Bengio的这种用神经网络构建N-Gram模型的方法，想要计算句子出现的概率还是要把条件概率进行相乘，这种方法的最大贡献可以认为有两个：一是使用NN构建N元模型，基于相似词语解决数据稀疏的问题；二是给出了一种训练词向量的方法。

神经语言模型 和 统计语言模型

先有统计语言模型，包括n-gram模型等，再有神经语言模型，例如基于RNN的语言模型。

统计语言模型是统称，神经网络语言模型是使用神经网络来计算统计语言模型的。统计语言模型的范围更大，它包含了神经语言模型。

基于RNN的语言模型 和 n-gram模型 的异同：
共同点：都是计算语言模型，将句子看作一个词序列，来计算句子的概率
不同点：

1. 计算概率方式不同，n-gram基于马尔可夫假设只考虑前n个词，nnlm要考虑整个句子的上下文
2. 训练模型的方式不同，n-gram基于最大似然估计来计算参数，nnlm基于RNN的优化方法来训练模型，并且这个过程中往往会有word embedding作为输入，这样对于相似的词可以有比较好的计算结果，但n-gram是严格基于词本身的
3. 循环神经网络可以将任意长度的上下文信息存储在隐藏状态中，而不仅限于n-gram模型中的窗口限制

Embedding

Embedding在数学上表示一个maping, f: X -> Y， 也就是一个function，其中该函数是injective（就是我们所说的单射函数，每个Y只有唯一的X对应，反之亦然）和structure-preserving (结构保存，比如在X所属的空间上X1 < X2,那么映射后在Y所属空间上同理 Y1 < Y2)。那么对于word embedding，就是将单词word映射到另外一个空间，其中这个映射具有injective和structure-preserving的特点。

通俗的翻译可以认为是单词嵌入，就是把X所属空间的单词映射为到Y空间的多维向量，那么该多维向量相当于嵌入到Y所属空间中，一个萝卜一个坑。

word embedding，就是找到一个映射或者函数，生成在一个新的空间上的表达，该表达就是word representation。推广开来，还有image embedding, video embedding, 都是一种将源数据映射到另外一个空间