前文
中文分词、词性标注、命名实体识别是自然语言理解中，基础性的工作，同时也是非常重要的工作。在很多NLP的项目中，工作开始之前都要经过这三者中的一到多项工作的处理。在深度学习中，有一种模型可以同时胜任这三种工作，而且效果还很不错--那就是biLSTM_CRF。
biLSTM词性标注
本文是以字为单位进行处理。从下往上看，w0,w1...表示句子里面的字，经过biLSTM处理，输出每个字对应每个标签的分数，我们将最大数值表示对该字预测的标签。既然，biLSTM已经能够进行满足词性标注，那为什么还要再最后加上CRF层呢？
biLSTM词性标注
从这幅图中，可以看出，预测结果明显是错的，那为什么会出现这种错误呢，因为biLSTM只能够预测文本序列与标签的关系，而不能预测标签与标签之间的关系，标签之间的相互关系就是CRF中的转移矩阵。
biLSTM_CRF词性标注
这就是完整的biLSTM_CRF的模型图，文本序列经过biLSTM模型处理，输出结果传入CRF层，最后输出预测结果。下面，进入正题，biLSTM_CRF模型在tensorflow中的实现。
运行环境
python 3.6
tensorflow 1.2
本文GITHUB 欢迎Star和Fork。
正文
1.数据预处理
2.模型构建
3.模型训练与测试
4.模型验证
5.总结
1.数据预处理
首先是将预测数据进行处理，转成模型能够识别的数字。
数据原格式
数据是以列形式存储，截图翻转了一下。
字典
标签同样也有对应的字典。
# 将tag转换成数字
tag2label = {"O": 0, "B-PER": 1, "I-PER": 2, "B-LOC": 3, "I-LOC": 4, "B-ORG": 5, "I-ORG": 6}
文本与标签
下一步是生成batch的操作。
生成batch后，需要对batch内句子padding到统一的长度，并计算每句的真实长度。
2.模型构建
采用双向LSTM对序列进行处理，将输出结果进行拼接。输入shape[batch,seq_Length,hidden_dim]，输出shape[batch,seq_length,2*hidden_dim]。
with tf.name_scope('biLSTM'):
cell_fw = tf.nn.rnn_cell.LSTMCell(pm.hidden_dim)
cell_bw = tf.nn.rnn_cell.LSTMCell(pm.hidden_dim)
outputs, outstates = tf.nn.bidirectional_dynamic_rnn(cell_fw=cell_fw, cell_bw=cell_bw,inputs=self.embedding,
sequence_length=self.seq_length, dtype=tf.float32)
outputs = tf.concat(outputs, 2)#将双向RNN的结果进行拼接
#outputs三维张量，[batchsize,seq_length,2*hidden_dim]
我们从本文的第一幅图中，可以看出，整个biLSTM完整的输出格式是[batch,seq_length,num_tag]。num_tag是标签的数量，本实验中是标签数量是7。所以我们需要一个全连接层，将输出格式处理一下。
with tf.name_scope('output'):
s = tf.shape(outputs)
output = tf.reshape(outputs, [-1, 2*pm.hidden_dim])
output = tf.layers.dense(output, pm.num_tags)
output = tf.contrib.layers.dropout(output, pm.keep_pro)
self.logits = tf.reshape(output, [-1, s[1], pm.num_tags])
self.logits就是需要输入CRF层中的数据。代码的第三行，对output的变形，表示将[batch,seq_length,2hidden_dim]变成[batchseq_length,2*hidden_dim]，最后处理时再变形为[batch,seq_length,num_tag]。
下面就是CRF层的处理：
with tf.name_scope('crf'):
log_likelihood, self.transition_params = crf_log_likelihood(inputs=self.logits, tag_indices=self.input_y, sequence_lengths=self.seq_length)
# log_likelihood是对数似然函数，transition_params是转移概率矩阵
#crf_log_likelihood{inputs:[batch_size,max_seq_length,num_tags],
#tag_indices:[batchsize,max_seq_length],
#sequence_lengths:[real_seq_length]
#transition_params: A [num_tags, num_tags] transition matrix
#log_likelihood: A scalar containing the log-likelihood of the given sequence of tag indices.
这一步，是调用from tensorflow.contrib.crf import crf_log_likelihood函数，求最大似然函数，以及求转移矩阵。最大似然函数前加上"-"，可以用梯度下降法求最小值；
with tf.name_scope('loss'):
self.loss = tf.reduce_mean(-log_likelihood) #最大似然取负，使用梯度下降
转移矩阵可以帮助维特比算法来求解最优标注序列。
def predict(self, sess, seqs):
seq_pad, seq_length = process_seq(seqs)
logits, transition_params = sess.run([self.logits, self.transition_params], feed_dict={self.input_x: seq_pad,
self.seq_length: seq_length,
self.keep_pro: 1.0})
label_ = []
for logit, length in zip(logits, seq_length):
#logit 每个子句的输出值，length子句的真实长度，logit[:length]的真实输出值
# 调用维特比算法求最优标注序列
viterbi_seq, _ = viterbi_decode(logit[:length], transition_params)
label_.append(viterbi_seq)
return label_
3.模型训练与测试
训练时，共进行12次迭代，每迭代4次，将训练得到的结果，保存到checkpoints；loss的情况，保留到tensorboard中；每100个batch,输出此时的训练结果与测试结果。
模型训练
模型的loss由最初在训练集54.93降到2.29，在测试集上由47.45降到1.73。我们看下，保存的模型在验证集上的效果。
4.模型验证
我从1998年的人民网的新闻素材中，随机抽取了几条语句。
模型验证
ORG表示组织名词，LOC表示地理名词,PER表示人名。从验证结果上看，模型在命名实体识别上，效果还可以。
5.总结
模型训练数据从github上获取的，在训练时使用未训练的字向量，不知道使用预训练字向量是否可以提高准确率。受限于电脑的性能，训练数据仅使用50000条；提高机器性能，加大训练数据的量，准确性应该可以进一步提高。写这篇博客，主要是介绍实验过程，希望能够给需要的人带来帮助。
网友评论