词向量：和独热编码不同的是，可以表示一个词的含义，但无法表示一词多义
训练词向量的方法：
基于非语言模型的方法：CBOW Skip-gram
基于语言模型的方法：seq2seq
语言模型多了时序信息，因为训练语言模型时,我们是基于过去的单词来预测下一个单词。所以， 利用语言模型训练出来的词向量, 有能力基于过去的单词预测未来的单词，而CBOW和Skip-gram不行。
CBOW：周围词预测中心词
Skip-gram：中心测预测周围词
语言模型用来判断，一个句子是否通顺，是的话概率越高
P（今天周三是） < P(今天是周三)
网友评论