基于LSTM对IMDB数据集进行情感分析

本篇文章的灵感主要来自于Kaggle上的一个叫做Sentiment analysis on IMDB movie reviews比赛。同时采用了IMDB数据集。想要该数据集的可以进行下载。

  首先写介绍一下本次文章的主要内容。简单来说就是判断电影评论内容的极性（也就是差评还是好评）。所以该极性也就可以只分为两种可能性（0或者1）。同时本篇文章主要是基于Keras中LSTM 进行极性判断。
  接下来先看一下数据集长什么样子。。。。

  这只是极少部分数据集。详细数据集可以自行下载参观欣赏把玩。简单概括一下该数据集。其中分为两个部分，第一部分是test dataset（测试数据集），第二部分是train dataset(训练数据集)，其中在train dataset中分为neg,pos两个部分（neg：negative消极的，pos:positive积极的）。所以我们需要做的事情就是将这两个数据集进行训练出一个模型同时进行test数据集的测试。
  因为刚拿到数据我们可以发现这是由几万个单独的txt文本组成的文件夹。那么第一步就是将这些文件合并成一个。代码如下所示：

# -*- coding: utf-8 -*-
import os
import codecs
pos_location='C:/Users/john/Desktop/情感分析/aclImdb_v1/aclImdb/train/pos'
pos_files=os.listdir(pos_location)
neg_location='C:/Users/john/Desktop/情感分析/aclImdb_v1/aclImdb/train/neg'
neg_files=os.listdir(neg_location)
pos_all=codecs.open('C:/Users/john/Desktop/情感分析/aclImdb_v1/aclImdb/train/pos_all.txt','a',encoding='utf8')
neg_all=codecs.open('C:/Users/john/Desktop/情感分析/aclImdb_v1/aclImdb/train/neg_all.txt','a',encoding='utf8')
all=[]
for file in pos_files:
    whole_location=os.path.join(pos_location,file)
    with open(whole_location,'r',encoding='utf8') as f:
        line=f.readlines()
        all.extend(line)
for file in all:
    pos_all.write(file)
    pos_all.write('\n')
alls=[]
for file in neg_files:
    whole_location=os.path.join(neg_location,file)
    with open(whole_location,'r',encoding='utf8') as f:
        line=f.readlines()
        alls.extend(line)
for file in alls:
    neg_all.write(file)
    neg_all.write('\n')

  通过上述代码我们可以得到整体的txt文本如下所示：

  接下来就开始步入正题了。。。第一步先把所有能用上的库导进去。

from keras.preprocessing.text import Tokenizer
from keras.models import Sequential
from keras.layers.core import Dense,Activation
from keras.layers.embeddings import Embedding
from keras.layers.recurrent import LSTM
from keras.preprocessing import sequence
from sklearn.model_selection import train_test_split
import nltk
from nltk.corpus import stopwords
import collections
import pandas as pd
import numpy as np
import os
import codecs

  现在先不对这些库进行仔细的讲解，接下来用到哪个库我会再详细的说一下。第二步引进数据。

pos_list=[]
# pos=codecs.open('C:/Users/john/Desktop/情感分析/aclImdb_v1/aclImdb/train/pos_all.txt','r')
with open('C:/Users/john/Desktop/情感分析/aclImdb_v1/aclImdb/train/pos_all.txt','r',encoding='utf8')as f:
    line=f.readlines()
    pos_list.extend(line)
neg_list=[]
with open('C:/Users/john/Desktop/情感分析/aclImdb_v1/aclImdb/train/neg_all.txt','r',encoding='utf8')as f:
    line=f.readlines()
    neg_list.extend(line)
#创建标签
label=[1 for i in range(12500)]
label.extend([0 for i in range(12499)])
#评论内容整合
content=pos_list.extend(neg_list)
content=pos_list

  这样我们就完美的导入了数据。同时通过简单的代码len(neg_list)和len(pos_list)可以发现总共数据量是24999。多么强迫症的数据量（PS.为啥不是25000。。。）
  如果大家有一些自然语言处理的相关知识的话，应该对停用词和标点符号有一定的了解。一般来说。在拿到数据集的时候我们需要对数据集进行预处理。其中就包含对原始数据集去停用词和去标点符号。这样做的原因就是为了去噪音提高准确度。那么接下来就需要进行这一步的操作了。

seq=[]
seqtence=[]
stop_words=set(stopwords.words('english'))
for con in content:
    words=nltk.word_tokenize(con)
    line=[]
    for word in words:
        if word.isalpha() and word not in stop_words:
            line.append(word)
    seq.append(line)
    seqtence.extend(line)

  这样我们就可以得到相对干净的数据集。如果你不进行这一步的话，你会发现词汇量是11万多。但是通过去停用词和去标点符号之后，词汇量变成了小9万。这样就极大的减少我们的工作量。其实进行完该步骤的话。我们就已经完成了一大部分。因为计算机只能识别数字。所以我们需要把单词转换为数字。（其实在英文和中文进行情感分析时该步骤都是必要的。），但是不要认为这个步骤很难。其实so easy。

# 获取词索引
word_index=tokenizer.word_index
sequences=tokenizer.texts_to_sequences(seq)
# 此处设置每个句子最长不超过 800
final_sequences=sequence.pad_sequences(sequences,maxlen=800)

  上述代码主要是为了转换词索引同时设置每个句子长度不超过800。超出就截断。不够就补0.做完该步骤之后接下来还有一个问题就是。我们的原始数据集分布都是顺序的。也就是说先是pos然后是neg。那么直接输入这些数据其实是有问题的。我们需要打乱数据再进行数据输入（使其离散）。

# 转换为numpy类型
label=np.array(label)
# 随机打乱数据
indices=np.random.permutation(len(final_sequences))
X=final_sequences[indices]
y=label[indices]
# 划分测试集和训练集
Xtrain,Xtest,ytrain,ytest=train_test_split(X,y,test_size=0.2)

  这样我们就完美的划分好测试集和训练集了。已经很接近胜利了。。接下来就是LSTM网络搭建了。

# 网络构建
model=Sequential()
model.add(Embedding(89483,256,input_length=800))
model.add(LSTM(128,dropout=0.2))
model.add(Dense(1))
model.add(Activation('sigmoid'))
model.compile(loss='binary_crossentropy',optimizer='adam',metrics=['accuracy'])
model.fit(Xtrain,ytrain,batch_size=32,epochs=10,validation_data=(Xtest,ytest))

  任务结束。上述代码就是完整的LSTM搭建。是不是很简单。。其实从这里我们也看出来了很多数据分析难就难在数据预处理上。同时准确率也很依赖数据预处理。接下来就是展示一下最终结果：

  此处我总共进行了10次迭代。花费了大概40分钟左右吧。。。但是可以发现在测试集上最高准确率可以达到87.5%。这个结果还是不错的。就是时间很蛋疼。。大家完全趁这个时间打一把lol是没有问题的。。。。。。