1 预备知识

• Sigmoid函数

  
  image.png

• 逻辑回归

  
  image.png

• Huffman树

  
  image.png
  image.png

• 词向量

image.png
image.png

2 语言模型

• 统计语言模型

  
  image.png

• N-gram语言模型

  
  image.png
  image.png
  image.png

• 神经概率语言模型

image.png
image.png

3 两个策略+两个模型

• 两个模型

  
  image.png
  image.png

• 基于Hierarchical Softmax 的CBOW模型
  

  image.png
  image.png
  image.png
  求梯度
  image.png
  image.png

• 基于Hierarchical Softmax 的Skip-gram模型

  
  image.png

image.png
求梯度
image.png
image.png

• 基于Negative Sampling 的CBOW模型
  image.png
  image.png
  image.png
  image.png
  求梯度
  image.png
  image.png
• 基于Negative Sampling 的Skip-gram模型
  image.png
  求梯度
  image.png

4 Word2vec实践

image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png