2021-04-17 ch9 skipgram

CBOW 周围词预测中心词
skip gram 中心词预测周围词

image.png

SkipGram模型讲解

1.目标函数
2.具备条件 两个词越相似，P(c,w;θ) 越大

image.png

3.表示方法：中心词有个embedding V，上下文词有embedding U 注意是两个矩阵！大小为 词库size×embedding_size

image.png

得到了SkipGram目标函数之后，发现了这个目标函数其实不好优化。所以需要换一种方式去优化，其中比较流行的方法是使用负采样