美文网首页
200314 Embedding及其与word2vec关系的个人

200314 Embedding及其与word2vec关系的个人

作者: keeppping | 来源:发表于2020-03-15 14:12 被阅读0次

参考链接keras:3)Embedding层详解
示例原文链接:
https://blog.csdn.net/qianshishangdi/article/details/88640204

个人理解:

以下是个人对Embedding及其与word2vec关系的通俗理解,表达尽量接地气,语言可能不准确,有不正确的地方欢迎指正。
keras原型和关键参数:
keras.layers.embeddings.Embedding(input_dim, output_dim, input_length=None)
• input_dim: int > 0。词汇表大小, 即,最大整数 index + 1。
• output_dim: int >= 0。词向量的维度。
• input_length: 输入序列的长度,必须和输入数据长度一致。当它是固定的时。 如果你需要连接 Flatten 和 Dense 层,则这个参数是必须的 (没有它,dense 层的输出尺寸就无法计算)

Embedding:建立一个可训练的两层神经网络,对输入的数据进行预处理;包括输入层、input层和output层。
input_dim即input层节点数对应词汇表,Embedding层自动实现每节点对应一个词汇
Embedding实质是训练一个与输入相关的向量表,该向量表的尺寸为[input_dim,input_length,output_dim](隐含要求输入是one-hot码);训练过程input层和output层权重逐渐优化,权重表可以表达训练数据之间的逻辑关系。
Embedding输出=输入*Embedding,相当于按输入one-hot码在Embedding权重矩阵中查表,得到一个与输入对应的向量。该向量在nlp中可以用作词向量,与one-hot相比,该词向量尺寸更小并且可以表达词之间的逻辑关系,词向量之间的夹角表示词向量之间语义相近程度。
word2vec与Embedding关系:word2vec本身是一个语言模型,一般认为是一个三层的神经网络,其中第一层相当于Embedding,且优化了查表速度(因为Embedding本身是两层网络,所以可以将word2vec理解为一个4层的深度神经网络)。word2vec第一层的权重即为输入的词向量表,第一层的输出即为word2vec的词向量。很多NLP将word2vec单纯作为文本向量化工具。

示例代码

import numpy as np
from keras.models import Sequential
from keras.layers import Embedding, Masking

# Embedding和Masking都可以用来处理变长文本,Embedding只能过滤0

model = Sequential()
model.add(Embedding(input_dim=2,
                    output_dim=2,   #将输入拆分成一个几维的量
                    input_length=7,
                    ))

print('Embedding input shape:\n', model.layers[0].input_shape)
print('Embedding output shape:\n', model.layers[0].output_shape)

model.compile('rmsprop', 'mse')
a=np.array([[0, 1, 0, 1, 1, 0, 0],
            [1, 1, 1, 1, 1, 1, 1]]
)
print('input shape a:\n', a, a.shape)

result = model.predict(a)
print('Embedded a:\n', result)
print('shape Embedded a:\n', result.shape)

运行结果

Using TensorFlow backend.
Embedding input shape:
 (None, 7)
Embedding output shape:
 (None, 7, 2)
input shape a:
 [[0 1 0 1 1 0 0]
 [1 1 1 1 1 1 1]] (2, 7)
2019-03-18 15:23:16.590430: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2
Embedded a:
 [[[ 0.00076254  0.04154864]
  [-0.03167279 -0.00586861]
  [ 0.00076254  0.04154864]
  [-0.03167279 -0.00586861]
  [-0.03167279 -0.00586861]
  [ 0.00076254  0.04154864]
  [ 0.00076254  0.04154864]]

 [[-0.03167279 -0.00586861]
  [-0.03167279 -0.00586861]
  [-0.03167279 -0.00586861]
  [-0.03167279 -0.00586861]
  [-0.03167279 -0.00586861]
  [-0.03167279 -0.00586861]
  [-0.03167279 -0.00586861]]]
shape Embedded a:
 (2, 7, 2)

相关文章

网友评论

      本文标题:200314 Embedding及其与word2vec关系的个人

      本文链接:https://www.haomeiwen.com/subject/ssgoshtx.html