word2vec理论基础2

资料来源：https://www.bilibili.com/video/av9258966

Paper：
论文网页：https://arxiv.org/pdf/1301.3781.pdf

基于次数的方法不能很好的代表向量的语意。如one-hot，TF-IDF。
语意：语言逻辑中的含义。

从理论上理解什么是word2vec

资料：http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/

给定滑窗和中心词，去猜测滑窗有可能出现单词的概率。
滑窗的大小 3，5，7...
语意的体现：一个单词的语言可定和它和什么单词一起出现有关呀。

如何做到这一点呢

1.首先对每个单词进行one-hot encoding
2.两层的神经网络，只有两层的权重矩阵。
3.有多个label就比较多次，每一次都去调整权重，比如第3组， brown-> the brown-> quick brown-> fox brown-> jumps,一个brown去预测多个单词。
4.每一个滑窗都会，调整神经网络的权重。
5.词向量是输入层到隐藏层的权重矩阵。每一个词都会对应一个300长的向量。
6.非监督学习
我们学习的不是一个最终的目标，我们学习的是每一个单词的特征（向量表示）。

非监督学习

常见：
1.维度降解

• PCA 非监督学习 做维度降解 Dimension Redaction
• T-ISE

2.聚类

• k-mean
• DB-scan

3.特征提取

• Feature learning
• Feature Extration
  没有一个具体目的，你就让它自己干就行了，给他什么他就学习什么。

定义：
Supervised Learning：
X Y 找到 f(x) ---> y
Unsupervised Learning 无监督学习
X f(x) ----descripes--> S
S = {x1,x2,x3,...}

DeepLeaning 就是一种特征提取,深度学习非监督学习的一种方法。
Autoencoder 逐层抽象，提取图片信息。

word2vec 是一种特征提取
TextSpace -------》 VectorSpace
每一个向量对应文字或者单词。