使用keras对mnsit数据集进行预处理

之前一直用tensorflow处理mnist手写识别数据集，尽管天禹强烈安利keras，但是本人完全无动于衷，表示就算饿死也不会用keras。

本文参考了清华大学出版社的《tensorflow+keras深度学习人工智能时间应用》的大部分内容，并纠正了书中的一点点错误。若本文有任何谬误欢迎指正，本人将尽快更改并深表谢意。

以下使用Out[数字]:的方式表示代码输出结果

Out[数字]:
代码输出

下载mnist数据

导入keras及相关模块

import numpy as np
import pandas as pd
from keras.utils import np_utils
np.random.seed(10)

导入mnist数据集

from keras.datasets import mnist

#下载及读取mnist

(X_train_image,y_train_label), \
(X_test_image,y_test_label)=mnist.load_data()

#查看mnist

print('train data', len(X_train_image))
print('test data',len(X_test_image))

# 查看训练数据

print('X_train_image:',X_train_image.shape)
print('y_train_label:',y_train_label.shape)

定义plot_image函数显示数字图像

为了能够显示images数字图像，我们创建下列plot_images函数

import matplotlib.pyplot as plt          #导入matplotlib.pyplot模块
def plot_image(image):                   #定义plot_image函数，传入image作为参数    
    fig=plt.gcf()                        #设置显示图形的大小
    fig.set_size_inches(2,2)
    plt.imshow(image,cmap='binary')      #使用plt.show显示图形，传入参数image是28x28的图形，cmap参数设置为binary，以黑白灰度显示
    plt.show()                           #开始绘图

执行plt_image函数查看第0个数字图像

以下程序调用plot_image函数传入mnist.train.images[0]，也就是训练数据集的第0项数据，从显示结果可以看出这是一个数字5的图形

plot_image(X_train_image[0])

查看多项数据images和label

创建plot_images_labels_prediction()函数

创建一个函数用来方便地查看数字图形，实际数字与预测结果。

import matplotlib.pyplot as plt
def plot_images_labels_prediction(image,labels,prediction,idx,num=10):   #定义plot_images_labels_prediction
    fig=plt.gcf()                                                        #设置显示图像的大小
    fig.set_size_inches(12,14)
    if num>25: num=25                                                    #如果显示项数大于25，就设置为25，以免发生错误
    for i in range(0,num):                                               #for循环执行程序块内的程序代码，画出num个数字图形
        ax=plt.subplot(5,5,1+i)                                          #建立subgraph子图形为5行5列
        ax.imshow(image[idx],cmap='binary')                              #画出subgraph图形
        title= "label=" +str(labels[idx])                                #设置子图形title，显示标签字段
        if len(prediction)>0:                                            #如果传入了预测结果
            title+=",prdict"+str(prediction[idx])                        #标题
                      
        ax.set_title(title,fontsize=10)                                  #设置子图形的标题
        ax.set_xticks([]);ax.set_yticks([])                              #设置不显示刻度
        idx+=1                                                           #读取下一项
    plt.show()

plot_images_labels_prediction函数需要传入下列参数：
数字的图像：image
实际值：labels
预测结果：prediction
开始显示的数据index： idx
要显示的数据项数（默认是10，不超过25）：num

查看训练数据前10项数据

执行plot_images_labels_prediction函数显示前10项训练数据。输入X_train_image和y_train_label，不过目前还没有预测结果prediction，所以传入空list[]，从第0项数据一直显示到第9项数据

plot_images_labels_prediction(X_train_image,y_train_label,[],0,10)       

训练数据前10项

查看test测试数据

查看test测试数据项数，我们可以看到共计10000项数据

print('X_test_image:',X_test_image.shape)
print('y_test_label:',y_test_label.shape)

Out[10]:
X_test_image: (10000, 28, 28)  
y_test_label: (10000,)

显示test测试数据

执行plot_images_labels_prediction显示前10项测试数据

plot_images_labels_prediction(X_test_image,y_test_label,[],0,10)  

前10项测试数据

featrues数据预处理

features（数字图像的特征值）数据预处理可分为下列两个步骤：
（1）将原本28x28的数字图像以reshape转换为一维的向量，其长度是784，并且转换为float
（2）数字图像image的数字标准化

步骤一 查看image的shape

可以用下列指令查看每个数字图像的shape是28x28

print('X_train_image:',X_train_image.shape)
print('y_train_label:',y_train_label.shape)

Out[12]:
X_train_image: (60000, 28, 28)
y_train_label: (60000,)

步骤二 将image以reshape转换

下面的程序代码将原本28x28的二维数字以reshape转换为一维的向量，再以astype转换为float，共784个浮点数

x_train=X_train_image.reshape(60000,784).astype('float32')
x_test=X_test_image.reshape(10000,784).astype('float32')

可以用下列指令查看每一个数字图像是784个浮点数

print('x_train:',x_train.shape)
print('x_test:',x_test.shape)

步骤三 查看转换为一维向量的shape

print('x_train:',x_train.shape)
print('x_test:',x_test.shape)

Out[14]:
x_train: (60000, 784)
x_test: (10000, 784)

步骤四 查看image图像的内容

查看image第0项的内容

X_train_image[0]

从以上执行结果可知，每一个数字都是从0到255的值，代表图形每一个点灰度的深浅，其中大部分数字都是0。

步骤5 将数字图像images的数字标准化

image的数字标准化可以提高后续训练模型的准确率，因为image的数字是从0到255的值，所以最简单的标准化方式是除以255

x_train_normalize=x_train/255
x_test_normalize=x_test/255

步骤6 查看数字图像images数字标准化后的结果

label数据预处理

label（数字图像真实的值）标签字段原本是0-9的数字，必须以one-hot encoding（一位有效编码）转换为10个0或1的组合，例如数字7经过one-hot encoding转换后是0000000100，正好对应输出层的1个神经元

步骤一 查看原本的label标签字段

以下列指令来查看训练数据label标签字段的前5项训练数据，我们可以看到这是0-9的数字

y_train_label[:5]

Out[18]:
array([5, 0, 4, 1, 9], dtype=uint8)

步骤二 label标签字段进行one-hot encoding转换

下面的程序代码使用np_utils.to_categorical分别传入参数y_train_label（训练数据）和y_test_label（测试数据）的label标签字段，进行one-hot encoding转换

y_train_onehot=np_utils.to_categorical(y_train_label)
y_test_onehot=np_utils.to_categorical(y_test_label)

步骤三 查看进行one-hot encoding转换之后的label标签字段

进行one-hot encoding转换之后，查看训练数据label标签字段的前5项数据，我们可以看到转换后的结果

y_train_onehot[:5]

Out[20]:
array([[0., 0., 0., 0., 0., 1., 0., 0., 0., 0.],
       [1., 0., 0., 0., 0., 0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 1., 0., 0., 0., 0., 0.],
       [0., 1., 0., 0., 0., 0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0., 0., 0., 0., 0., 1.]], dtype=float32)