探秘Word2Vec(五)-Skip-gram模型

作者: 文哥的学习日记 | 来源:发表于2017-07-28 22:42 被阅读442次

之前说了那么多，现在我们正式开始接触word2vec中涉及到的两个模型，CBOW模型(Continuous Bag-Of-Words Model)和Skip-gram模型(Continuous Skip-gram Model)。CBOW是已知当前词的上下文，来预测当前词，而Skip-gram则相反，是在已知当前词的情况下，预测其上下文。二者的模型结构如下图所示：

对于上面提到的两个模型，word2vec分别给出了两套框架，分别基于Hierarchical Softmax 和 Negative Sampling来进行设计，接下来，我们会分别对这两种Skip-gram模型进行讲解。

1、基于Hierarchical Softmax的Skip-gram模型

1.1 模型说明

之前我们提到过，基于神经网络的语言模型的目标函数通常取为如下的对数似然函数：

其中的关键是条件概率p(w|Context(w))的构造。基于Hierarchical Softmax的CBOW模型优化的目标函数也形如上面的样子。那么对于Skip-gram模型来说，优化的目标函数变为：

而模型的重点也变为了条件概率p(Context(w)|w)的构造。
首先我们还是先来看一下Skip-gram模型的网络结构，它也包括三层，分别是输入层、投影层和输出层：

1.2 梯度计算

Skip-gram模型的重点是条件概率p(Context(w)|w)的构造，模型中将其定义为：

按照Hierarchical Softmax的思想，p(u|v)可以写为：

其中：

所以对数似然函数的具体表达式为：

可以看到，这跟CBOW的形式十分类似，我们同样用随机梯度上升的方法，为求导方便起见，我们将三重求和符号里面的内容取出：

则参数的更新形式为：

下面，给出Skip-gram模型中采用随机梯度上升方法更新各参数的伪代码：

但在实际的word2vec模型中，并不是等Context(w)中的所有词处理完之后才更新v(w)，而是每处理完一个词u，就刷新一次v(w)，具体为：

2、基于Negative Sampling的Skip-gram模型

word2vec中基于Negative Sampling的Skip-gram模型，本质上和基于Negative Sampling的CBOW模型一样，这个地方看得我头昏眼花，不过一旦想明白，你肯定也能豁然开朗。
对于一个给定的样本(w,Context(w))，我们希望最大化：

看到了么，如果除去最外层的连乘符号，是不是就跟CBOW模型一样了，对的，word2vec模型就是将给定样本中Context(w)中的每一个词w1，分别与w进行组合(w,w1),这么一来，可以反过来把w1看成上下文，w作为要预测的词，这不就跟CBOW的思路一样了么？对的，就是这么神奇。
继续说上面的式子，其中：