本文是对通过CNN神经网络实现文本分类提及到的第一个示例的详细说明。
数据集和数据预处理
在本文中数据采用的是来自Rotten Tomatoes 的电影评论数据。这个数据集中包含10,662个评论句子，其中一半是积极的评论，一半是消极的评论。数据集包含20K的词汇量，此数据集不划分测试集与训练集，只选取10%的数据作为开发集。
在本文中不会详细解释数据预处理的代码 ，其代码在GitHub上存放。数据主要做了以下预处理：
1.从原始数据文件加载积极评论和消极评论的句子。 2.使用与原论文相同的数据清洗代码 。 3.将每个句子填充到句子最大长度，结果是59个单词.我们在所有其他句子中附加特殊的标记，使它们成为59个单词。将句子填充到相同的长度是有用的，因为它允许我们高效地批量处理数据，因此每个示例必须具有相同的长度。 4.建立词汇索引并将每个单词映射到0到18,765之间的整数（词汇大小）。每个句子成为一个整数的向量。
神经网络模型
在这篇文章中构建的网络大致如下：
CNN模型
第一层将单词嵌入到低维向量中。第二层使用多个滤波器大小对嵌入的单词向量执行卷积。例如，一次滑动3，4或5个单词。接下来，我们将卷积层的结果最大化为一个长特征向量，添加丢失函数并正则化，并使用softmax层对结果进行分类。
实践
为了允许使用hyperparameter（超参数）配置，我们写一个TextCNN类，将hyperparameter放到其中，在init函数中生成模型图。
import tensorflow as tf
import numpy as np
class TextCNN(object):
""" A CNN for text classification.
Uses an embedding layer, followed by a convolutional, max-pooling and softmax layer. """
def __init__(
self, sequence_length, num_classes, vocab_size,
embedding_size, filter_sizes, num_filters):
# Implementation...
为了实例化这个类，我们定义了以下的参数：
（1）sequence_length —— 句子的长度。请记住，我们填充了所有句子的长度（每个句子的长度为59）。
（2）num_classes —— 输出层中的分类的数目，在本例子中是两类（积极评论和消极评论）。
（3）vocab_size —— 我们词汇的大小这是需要定义我们的嵌入层的大小，形式为[vocabulary_size, embedding_size]。
（4）embedding_size —— 我们嵌入的维度。
（5）filter_sizes —— 卷积滤波器覆盖的字数。将num_filters在这里指定每个尺寸。例如，[3, 4, 5]意味着我们将有过滤器分别滑过3,4和5个单词，总共3 * num_filters过滤器。
（6）num_filters —— 每个过滤器大小的过滤器数量（见上）。
Input Placeholders
首先定义神经网络输入层输入数据：
# Placeholders for input, output and dropout
self.input_x = tf.placeholder(tf.int32, [None, sequence_length], name="input_x")
self.input_y = tf.placeholder(tf.float32, [None, num_classes], name="input_y")
self.dropout_keep_prob = tf.placeholder(tf.float32, name="dropout_keep_prob")
tf.placeholder创建一个占位符变量，当我们在训练或者、测试时会提供这个变量。第二个参数是输入张量的形状。None意味着该维度的长度可以是任何东西。在我们的例子中，第一个维度是批量大小，使用None允许网络处理任意大小的批次。
网友评论