深度学习keras框架中的Embedding是一种用在在深度学习模型中把原始文本中的单词与向量相关联常用方法，在介绍Embedding之前，先了解以下几个概念：
数值张量
深度学习模型在处理文本数据时不会直接把原始文本数据作为输入，它只能处理数值张量。
文本向量化
文本向量化就是把文本数据转化成数值张量的过程，实现方法多是把文本分割成单词或者字符，再把单词或字符转换为一个向量。
标记
将文本分解而成的单词或字符叫做标记。
分词
将文本分解成标记的过程叫做分词。
我们要用深度学习模型处理文本数据，通过使用某种分词方法来实现文本向量化，即在分词过程，把生成的标记与数值向量相关联，然后把这些向量组合成张量作为深度学习模型的输入，embedding（词嵌入）方法就是一种把标记与数值向量相关联的方法。
在框架keras中Embedding原型如下所示:
keras.layers.Embedding(input_dim, output_dim, embeddings_initializer='uniform', embeddings_regularizer=None, activity_regularizer=None, embeddings_constraint=None, mask_zero=False, input_length=None)
Embedding层有两个必须输入的参数--input_dim，output_dim：
- input_dim：在分词过程中每一个标记都有唯一一个区别于其它标记的索引，input_dim = 所有标记的索引的最大值 + 1
- output_dim: 数值向量的维度
Embedding层接收的输入是一个二维矩阵(samples, sequence_length)，即样本集的作分词处理后的单词的标记化的表示，其中 samples是样本总数，sequence_length是标记总数，矩阵中每一个元素代表一个标记，Embedding层接收输入并为每一个元素匹配一个数值向量，最后输出一个三维向量(samples, sequence_length, output_dim)。
下面通过一个例子来展示Embedding的简单使用：
from keras.models import Sequential
from keras.layers import Flatten, Dense, Embedding
import numpy as np
model = Sequential()
model.add(Embedding(3, 2, input_length=7))
通俗的讲，这个过程中，Embedding层生成了一个大小为3*2的随机矩阵，记为M，查看矩阵M：
model.layers[0].get_weights()
#输出
[array([[-0.00732628, -0.02913231],
[ 0.00573028, 0.0329752 ],
[-0.0401206 , -0.01729034]], dtype=float32)]
矩阵的每一行是该行下标指示的标记的数值向量，即矩阵M的第i（0，1，2）行是标记为i的单词对应的数值向量
model.compile('rmsprop', 'mse')
data = np.array([[0,1,2,1,1,0,1],[0,1,2,1,1,0,1]]
model.predict(data))
#输出
[[[-0.00732628 -0.02913231]
[ 0.00573028 0.0329752 ]
[-0.0401206 -0.01729034]
[ 0.00573028 0.0329752 ]
[ 0.00573028 0.0329752 ]
[-0.00732628 -0.02913231]
[ 0.00573028 0.0329752 ]]
[[-0.00732628 -0.02913231]
[ 0.00573028 0.0329752 ]
[-0.0401206 -0.01729034]
[ 0.00573028 0.0329752 ]
[ 0.00573028 0.0329752 ]
[-0.00732628 -0.02913231]
[ 0.00573028 0.0329752 ]]]
data是Embedding层的输入，它包含2个样本，每个样本长度都是7，输出out是一个大小为2*7*2的矩阵，data[i][j]元素的数值向量是out[i][j]。
可以看到，这个时候得到的文本的向量化表示是随机的，我们对这个模型进行训练，更新各层权重，最后我们得到一个文本向量化的有意义的表示，即单词间通过各自对应的数值向量来反映单词间相关性。
网友评论