利用keras搭建CNN完成图片分类

作者: Great_smile | 来源:发表于2019-01-09 17:16 被阅读4次

    一、简介

    本文旨在通过一些简单的案例,学习如何通过keras搭建CNN。从数据读取,数据处理,神经网络搭建,模型训练等。本文也是参考其他博主的文章基础上做了些小修改学习的,感谢其他博主的分享。
    具体的CNN的原理,以及keras的原理,这里就不啰嗦了。最后会提供一些参考博客,供大家学习。完整的代码的github地址:traffic

    二、流程

    1.数据处理

    数据路径
    #!/usr/bin/env python
    # encoding: utf-8
    from keras.preprocessing.image import img_to_array#图片转为array
    from keras.utils import to_categorical#相当于one-hot
    from imutils import paths
    import cv2
    import numpy as np
    import random
    import os
    
    def load_data(path,norm_size,class_num):
        data = []#数据x
        label = []#标签y
        image_paths = sorted(list(paths.list_images(path)))#imutils模块中paths可以读取所有文件路径
        random.seed(0)#保证每次数据顺序一致
        random.shuffle(image_paths)#将所有的文件路径打乱
        for each_path in image_paths:
            image = cv2.imread(each_path)#读取文件
            image = cv2.resize(image,(norm_size,norm_size))#统一图片尺寸
            image = img_to_array(image)
            data.append(image)
            maker = int(each_path.split(os.path.sep)[-2])#sep切分文件目录,标签类别为文件夹名称的变化,从0-61.如train文件下00014,label=14
            label.append(maker)
        data = np.array(data,dtype="float")/255.0#归一化
        label = np.array(label)
        label = to_categorical(label,num_classes=class_num)#one-hot
        return data,label
    

    上面是数据目录,下面是对应的数据处理代码。主要分为几个部分:

    1. 利用imutils模块的paths将train或test中的所有图片文件的路径找出来image_paths。
    2. 对其中每张图片,做如下操作,利用cv2读取图片和修改图片尺寸(图片尺寸不一,要统一尺寸)。
    3. 依次将图片和对应的标签,保存到对应的列表中
    4. 图片进行归一化操作,标签进行one-hot

    2.神经网络搭建

    这里搭建的网络是经典的LeNet网络,从input>conv>pool>conv>pool>Dense>Dense(softmax)。具体LeNet的学习,请见参考。这里是利用keras搭建的LeNet,keras的顺序模型(另外一种为函数式API)。

    #!/usr/bin/env python
    # encoding: utf-8
    import keras
    from keras.layers import Conv2D, MaxPooling2D, Dropout, Dense, Flatten
    from keras.models import Sequential
    import keras.backend as K
    
    class Lenet:#经典网络,不懂去查
    
        def neural(channel,height,width,classes):
            input_shape = (channel,height,width)
            if K.image_data_format() == "channels_last":#确认输入维度,就是channel是在开头,还是结尾
                input_shape = (height,width,channel)
            model = Sequential()#顺序模型(keras中包括顺序模型和函数式API两种方式)
            model.add(Conv2D(20,(5,5),padding="same",activation="relu",input_shape=input_shape,name="conv1"))
            model.add(MaxPooling2D(pool_size=(2,2),strides=(2,2),name="pool1"))
            model.add(Conv2D(50,(5,5),padding="same",activation="relu",name="conv2",))
            model.add(MaxPooling2D(pool_size=(2,2),strides=(2,2),name="pool2"))
            model.add(Flatten())
            model.add(Dense(500,activation="relu",name="fc1"))
            model.add(Dense(classes,activation="softmax",name="fc2"))
            return model
    

    具体参数,其中卷积层卷积核一般不超过5,步长一般为1。池化层一般大小和步长都为2。

    3.训练

    #!/usr/bin/env python
    # encoding: utf-8
    import matplotlib.pylab as plt
    from keras.optimizers import Adam
    from keras.preprocessing.image import ImageDataGenerator
    import numpy as np
    import sys
    sys.path.append("../process")#添加其他文件夹
    import data_input#导入其他模块
    from traffic_network import Lenet
    
    def train(aug, model,train_x,train_y,test_x,test_y):
    
        model.compile(loss="categorical_crossentropy",
                      optimizer="Adam",metrics=["accuracy"])#配置
        #model.fit(train_x,train_y,batch_size,epochs,validation_data=(test_x,test_y))
        _history = model.fit_generator(aug.flow(train_x,train_y,batch_size=batch_size),
                            validation_data=(test_x,test_y),steps_per_epoch=len(train_x)//batch_size,
                            epochs=epochs,verbose=1)
        #拟合,具体fit_generator请查阅其他文档,steps_per_epoch是每次迭代,需要迭代多少个batch_size,validation_data为test数据,直接做验证,不参与训练
    
        plt.style.use("ggplot")#matplotlib的美化样式
        plt.figure()
        N = epochs
        plt.plot(np.arange(0,N),_history.history["loss"],label ="train_loss")#model的history有四个属性,loss,val_loss,acc,val_acc
        plt.plot(np.arange(0,N),_history.history["val_loss"],label="val_loss")
        plt.plot(np.arange(0,N),_history.history["acc"],label="train_acc")
        plt.plot(np.arange(0,N),_history.history["val_acc"],label="val_acc")
        plt.title("loss and accuracy")
        plt.xlabel("epoch")
        plt.ylabel("loss/acc")
        plt.legend(loc="best")
        plt.savefig("../result/result.png")
        plt.show()
    
    if __name__ =="__main__":
        channel = 3
        height = 32
        width = 32
        class_num = 62
        norm_size = 32#参数
        batch_size = 32
        epochs = 40
        model = Lenet.neural(channel=channel, height=height,
                             width=width, classes=class_num)#网络
        train_x, train_y = data_input.load_data("../data/train", norm_size, class_num)
        test_x, test_y = data_input.load_data("../data/test", norm_size, class_num)#生成数据
    
        aug = ImageDataGenerator(rotation_range=30,width_shift_range=0.1,
                           height_shift_range=0.1,shear_range=0.2,zoom_range=0.2,
                           horizontal_flip=True,fill_mode="nearest")#数据增强,生成迭代器
    
        train(aug,model,train_x,train_y,test_x,test_y)#训练
    
    

    这部分就是网络的训练了,主要注意keras中model输出的事history,有四个属性可以查看。另外就是ImageDataGenerator数据增强,具体请查阅其他问下。


    结果

    准确率在94%,跟原博客预测准确率一样。

    三、参考

    代码的github地址:traffic
    原博客文章:
    【Keras】从两个实际任务掌握图像分类
    先附上一些讲解比较好的CNN文章:
    零基础入门深度学习(4) - 卷积神经网络
    keras中文文档这里面内容非常好,关于sequence,utils,fit_generator,ImageDataGenerator等等内容都有,推荐浏览。
    从神经网络到卷积神经网络(CNN)
    在Kaggle猫狗大战冲到Top2%
    imutols.path.list_image

    相关文章

      网友评论

        本文标题:利用keras搭建CNN完成图片分类

        本文链接:https://www.haomeiwen.com/subject/vdvgrqtx.html