Word2Vec

Word2Vec 是一种用于将单词映射到连续向量空间的技术，最早由 Google 的研究团队在 2013 年提出。它通过分析大规模文本数据生成单词嵌入（word embeddings），捕捉单词之间的语义关系。以下是 Word2Vec 的详细讲解，包括其原理、模型、实现和应用等方面。

1. Word2Vec 的基本原理

Word2Vec 通过上下文来学习单词的表示。基本思想是，如果两个单词在许多上下文中出现得很相近，那么它们的语义和用法就可能相似。通过这一方法，Word2Vec 能够生成高维向量（通常为100到300维），并保留单词之间的距离关系。

2. Word2Vec 模型

Word2Vec 实现了两种主要的模型：

2.1 Continuous Bag of Words (CBOW)

• 原理：CBOW 模型使用上下文单词来预测中心单词。上下文单词组成一个窗口，CBOW 模型通过对这些上下文单词的向量表示求平均或加权平均来预测目标中心单词。

• 示例：
  如果句子是：“The cat sat on the mat”，当上下文窗口为 2 时，上下文可能是 “The”, “cat”, “on”, “the” 而目标中心词是 “sat”。

• 训练过程：CBOW 模型通过最大化概率来学习参数，将每个上下文单词的向量累加并经过一个 softmax 输出目标单词的概率分布。

2.2 Skip-Gram

• 原理：Skip-Gram 模型的工作方式正好相反，它用中心单词来预测上下文单词。输入一个中心单词，模型尝试预测在该中心词周围的上下文单词。

• 示例：
  对于同样的句子 “The cat sat on the mat”，如果中心词是 “sat”，则要预测上下文词 “The”, “cat”, “on”, “the”, "mat"。

• 训练过程：Skip-Gram 模型通过最大化上下文单词概率来进行训练。

3. 训练过程

Word2Vec 通常使用负采样和层次 softmax 进行高效训练。

3.1 负采样

• 负采样是一种有效的训练方法，可以减少计算的复杂度。模型仅更新一小部分词汇表中的单词，从而加速训练过程。具体来说，对于每个的训练样本，模型不仅预测真实的上下文单词，还随机选择一些负样本进行训练。

3.2 层次 softmax

• 由于词汇表可能非常大，传统的 softmax 计算量庞大，因此出现了层次 softmax 的概念。逻辑是将词汇表建成树形结构，每个单词的概率通过路径上的节点表示，从而减少计算。

4. 实现 Word2Vec

使用 Python 的 gensim 库可以非常方便的实现 Word2Vec。以下是一个简单的示例：

from gensim.models import Word2Vec

# 准备语料数据
sentences = [
    ['the', 'dog', 'barked'],
    ['the', 'cat', 'meowed'],
    ['the', 'mouse', 'squeaked'],
    ['the', 'dog', 'and', 'cat', 'played'],
]

# 训练 Word2Vec 模型
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)

# 获取单词向量
word_vector = model.wv['dog']
print("Word vector for 'dog':", word_vector)

# 相似单词
similar_words = model.wv.most_similar('dog')
print("Most similar words to 'dog':", similar_words)

# 词关系
result_vector = model.wv['king'] - model.wv['man'] + model.wv['woman']
similar_words_to_result = model.wv.most_similar(positive=[result_vector])
print("Result from king - man + woman:", similar_words_to_result)

5. 应用场景

Word2Vec 在多种自然语言处理任务中都有应用，包括但不限于：

• 文本分类：通过将单词嵌入传递给下游模型（如 RNN、CNN）进行分类。
• 情感分析：分析文本情感时，可以使用 Word2Vec 提供的向量作为特征。
• 推荐系统：根据用户行为的文本数据进行用户特征建模。
• 语义相似度计算：通过计算向量之间的余弦相似度，判断单词或句子之间的相似性。

6. 优点

优点

• 捕捉语义关系：能够有效捕捉单词之间的语义关系和上下文。
• 高效率：在大规模数据集上训练时效率较高，特别是在使用负采样。
• 可用于下游任务：嵌入的向量可以用于多种任务中，便于迁移学习。