1. 自然语言的表示

在word2vec出现之前，自然语言通常以词作为基本单位，进行one-hot encoding，这样做最大的弊端是完全不能Get到任意两个词的相似度，任意两个向量的内积都是0，且维度会根据单词数量增加，对于现在的语料来说，千万个单词的语料库都是很常见的。

2. 词嵌入

词嵌入(word embedding)其实是将高维(V)的词向量压缩到了低维(M)，其中V>>M，最终的Embedding Matrix的尺寸就是V*M。这样我们就能很容易的计算任意两个词之间的相似性，例如余弦相似度。

举个例子

假设词表V的大小是10000，有一句话【我爱中国】，其中【我】在词表的第2个位置记作 $O^2$ ,【爱】在词表的第128个位置记作 $O^{128}$ ，【中国】在词表的第256个位置记作 $O^{256}$ .我们需要将其嵌入到100维的矩阵中

image.png
image.png
我们要计算【我】的词向量，直接使用np.dot(E, $O^2$ )即可得到一个100维的词向量表示

word2vec

Word2vec是由Mikolov T在2013年提出的，查了下，Doc2vec，FastText都是他提出来的，牛人！

word2vec训练方式有两种

cbow 本质就是完形填空，根据上下文预测中心词。
skip-gram 根据中心词预测上下文

image.png

训练时，会将随机初始化Embedding Matrix，分别将上下文每个词向量作为输入，如果上下文选择是4，词向量的维度是100，那么堆叠之后输入的维度就是4*100，经过一层Wx+b，对结果进行softmax，如果词库大小是10000,那么softmax的结果也是10000维，通过多轮迭代即可得到Embedding Matrix