资料：https://www.bilibili.com/video/av18512944?from=search&seid=6776503808153951952
新闻：https://aws.amazon.com/cn/blogs/china/amazon-sagemaker-blazingtext-parallelizing-word2vec-on-multiple-cpus-or-gpus/
没办法通过one-hot计算词和词的相似度，余弦的相似度。cos
给定hit 去生成the man his son 这个四个词的概率，用词向量表示中心词的向量，以及背景词的表达，通过一个极大似然估计。来最大化这个似然估计。
极大似然估值
给定一个中心词w(t)
m窗口大小，m=2 也就是滑窗大小为5
T：文本序列的总长度
上诉公式得到整个文本，给定中心词，生成背景词的联合概率
我们要使得整个联合概率最大化，这个联合概率最大化就等价于最小化这个损失函数
写了log之后乘号✖️换加号➕
怎样去最小化这个损失函数呢！
wc 中心词 V
wo 背景词 U
softmax函数
梯度下降：
随机梯度下降（第5课）
最后计算模型参数的梯度函数。
上课笔记：
网友评论