GloVe模型

作者: 哒丑鬼 | 来源:发表于2018-11-17 17:30 被阅读0次

最近学习了一些词向量的表示方法，GloVe模型作为其中代表性的方法，自然也是花了不少功夫来学习的。这篇文章是我学习GloVe模型的笔记，大部分参照了理解GloVe模型以及加入了本人对论文的一些理解。

GloVe模型是一种词向量分布表示模型，是一种无监督学习算法。总体上看，GloVe模型是一种对“词-词”矩阵进行分解从而得到词表示的方法。其步骤如下：

共现矩阵

设共现矩阵为 $X$ ，其元素为 $X_{i,j}$ 。
$X_{i,j}$ 的意义为：在整个语料库中，单词 $i$ 和单词 $j$ 共同出现在一个窗口中的次数。
举例：
设有语料库：

i love you but you love him i am sad

这个小小的语料库只有1个句子，涉及到7个单词：i、love、you、but、him、am、sad。
如果我们采用一个窗口宽度为5（左右长度都为2）的统计窗口，那么就有以下窗口内容：

窗口标号	中心词	窗口内容
0	i	i love you
1	love	i love you but
2	you	i love you but you
3	but	love you but you love
4	you	you but you love him
5	love	but you love him i
6	him	you love him i am
7	i	love him i am sad
8	am	him i am sad
9	sad	i am sad

窗口0、1长度小于5是因为中心词左侧内容少于2个，同理窗口8、9长度也小于5。
以窗口5为例说明如何构造共现矩阵：
中心词为love，语境词为but、you、him、i；则执行：
$X_{love,but} += 1$
$X_{love,you} += 1$
$X_{love,him} += 1$
$X_{love,i} += 1$
使用窗口将整个语料库遍历一遍，即可得到共现矩阵 $X$ 。

模型

首先定义几个符号：
$X _ { i } = \sum _ { j = 1 } ^ { N } X _ { i , j }$
其实就是矩阵单词 $i$ 那一行的和；
$P _ { i , k } = \frac { X _ { i , k } } { X _ { i } }$
条件概率，表示单词 $k$ 出现在单词 $i$ 语境中的概率；
$r a t i o _ { i , j , k } = \frac { P _ { i , k } } { P _ { j , k } }$
两个条件概率的比率。
而 $ratio_ { i , j , k }$ 这个指标是有规律的，统计规律如下：

$ratio_ { i , j , k }$	单词 $j$ , $k$ 相关	单词 $j$ , $k$ 不相关
单词 $i$ , $k$ 相关	趋近1	很大
单词 $i$ , $k$ 不相关	很小	趋近1

假设我们已经得到了词向量，如果我们用词向量 $v_{i}$ 、 $v_{j}$ 、 $v_{k}$ 通过某种函数计算 $ratio_ { i , j , k }$ ，能够同样得到这样的规律的话，就意味着我们词向量与共现矩阵具有很好的一致性，也就说明我们的词向量中蕴含了共现矩阵中所蕴含的信息。
设用词向量 $v_i$ 、 $v_j$ 、 $v_k$ 计算 $ratio_ { i , j , k }$ 的函数为 $g \left( v _ { i } , v _ { j } , v _ { k } \right)$ （我们先不去管具体的函数形式），那么应该有：
$\frac { P _ { i , k } } { P _ { j , k } } = r a t i o _ { i , j , k } = g \left( v _ { i } , v _ { j } , v _ { k } \right)$
即：
$\frac { P _ { i , k } } { P _ { j , k } } = g \left( v _ { i } , v _ { j } , v _ { k } \right)$
即二者应该尽可能地接近；
很容易想到用二者的差方来作为代价函数：
$J = \sum _ { i , j , k } ^ { N } \left( \frac { P _ { i , k } } { P _ { j , k } } - g \left( v _ { i } , v _ { j } , v _ { k } \right) \right) ^ { 2 }$
但是仔细一看，模型中包含3个单词，这就意味着要在 $N^3$ 的复杂度上进行计算，太复杂了，最好能再简单点。
现在我们来仔细思考 $g \left( v _ { i } , v _ { j } , v _ { k } \right)$ ,或许它能帮上忙；
作者的脑洞是这样的：

要考虑单词 $i$ 和单词 $j$ 之间的关系，那 $g \left( v _ { i } , v _ { j } , v _ { k } \right)$ 中大概要有这么一项吧： $v _ { i } - v _ { j }$ ；嗯，合理，在线性空间中考察两个向量的相似性，不失线性地考察，那么 $v _ { i } - v _ { j }$ 大概是个合理的选择；

$ratio_ { i , j , k }$ 是个标量，那么 $g \left( v _ { i } , v _ { j } , v _ { k } \right)$ 最后应该是个标量啊，虽然其输入都是向量，那內积应该是合理的选择，于是应该有这么一项吧： $(v_i - v _ { j } ) ^ { T } v _ { k }$

然后作者又往 $(v_i - v _ { j } ) ^ { T } v _ { k }$ 的外面套了一层指数运算 $\exp()$ ，得到最终的 $g \left( v _ { i } , v _ { j } , v _ { k } \right) = \exp \left( \left( v _ { i } - v _ { j } \right) ^ { T } v _ { k } \right)$

最关键的第3步，为什么套了一层 $\exp()$ ？
套上之后，我们的目标是让以下公式尽可能地成立：
$\frac { P _ { i , k } } { P _ { j , k } } = g \left( v _ { i } , v _ { j } , v _ { k } \right)$
即：
$\frac { P _ { i , k } } { P _ { j , k } } = \exp \left( \left( v _ { i } - v _ { j } \right) ^ { T } v _ { k } \right)$
即：
$\frac { P _ { i , k } } { P _ { j , k } } = \exp \left( v _ { i } ^ { T } v _ { k } - v _ { j } ^ { T } v _ { k } \right)$
即：
$\frac { P _ { i , k } } { P _ { j , k } } = \frac { \exp \left( v _ { i } ^ { T } v _ { k } \right) } { \exp \left( v _ { j } ^ { T } v _ { k } \right) }$
然后就发现找到简化方法了：只需要让上式分子对应相等，分母对应相等，即： $P _ { i , k } = \exp \left( v _ { i } ^ { T } v _ { k } \right)$ 且 $P _ { j , k } = \exp \left( v _ { j } ^ { T } v _ { k } \right)$
然而分子分母形式相同，就可以把两者统一考虑了，即：
$P _ { i , j } = \exp \left( v _ { i } ^ { T } v _ { j } \right)$
本来我们追求：
$\frac { P _ { i , k } } { P _ { j , k } } = g \left( v _ { i } , v _ { j } , v _ { k } \right)$
现在只需要追求：
$P_{i,j}=\exp(v^T_ivj)$
两边取个对数：
$\log \left( P _ { i , j } \right) = v _ { i } ^ { T } v _ { j }$
那么代价函数就可以简化为：
$J = \sum _ { i , j } ^ { N } \left( \log \left( P _ { i , j } \right) - v _ { i } ^ { T } v _ { j } \right) ^ { 2 }$
现在只需要在 $N^2$ 的复杂度上进行计算，而不是 $N^3$ ，现在关于为什么第3步中，外面套一层exp()就清楚了，正是因为套了一层exp()，才使得差形式变成商形式，进而等式两边分子分母对应相等，进而简化模型。
然而，出了点问题。仔细看这两个式子： $\log \left( P _ { i , j } \right) = v _ { i } ^ { T } v _ { j }$ 和 $\log \left( P _ { j , i } \right) = v _ { j } ^ { T } v _ { i }$
$\log \left( P _ { i , j } \right)$ 不等于 $\log \left( P _ { j , i } \right)$ 但是 $v _ { i } ^ { T } v _ { j }$ 等于 $v _ { j } ^ { T } v _ { i }$ ；即等式左侧不具有对称性，但是右侧具有对称性。
数学上出了问题。
补救一下好了。
现将代价函数中的条件概率展开：
$\log \left( P _ { i , j } \right) = v _ { i } ^ { T } v _ { j }$
即：
$\log \left( X _ { i , j } \right) - \log \left( X _ { i } \right) = v _ { i } ^ { T } v _ { j }$
将其变为：
$\log \left( X _ { i , j } \right) = v _ { i } ^ { T } v _ { j } + b _ { i } + b _ { j }$
即将 $\log(X_i)$ 吸收到偏差项 $b_i$ 中，同时为了保持对称性，添了一个偏差项 $b_j$ 。
于是代价函数就变成了：
$J = \sum _ { i , j } ^ { N } \left( v _ { i } ^ { T } v _ { j } + b _ { i } + b _ { j } - \log \left( X _ { i , j } \right) \right) ^ { 2 }$
然后基于出现频率越高的词对儿权重应该越大的原则，在代价函数中添加权重项，于是代价函数进一步完善：
$J = \sum _ { i , j } ^ { N } f \left( X _ { i , j } \right) \left( v _ { i } ^ { T } v _ { j } + b _ { i } + b _ { j } - \log \left( X _ { i , j } \right) \right) ^ { 2 }$
具体权重函数应该是怎么样的呢？
首先应该是非减的，其次当词频过高时，权重不应过分增大，作者通过实验确定权重函数为：
$f ( x ) = \left\{ \begin{array} { ll } \left( x / x _ { \max } \right) ^ { 0.75 } & {\rm if}:\ x < x _ { m a x }\\ 1 & {\rm otherwise} \end{array} \right.$

GloVe模型

共现矩阵

模型

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读