美文网首页
运行caffe的mnist示例

运行caffe的mnist示例

作者: 疯人愿的疯言疯语 | 来源:发表于2018-11-02 17:45 被阅读0次

    本文参考博客:
    运行caffe自带的mnist实例教程
    caffe自带的第一个例子,Mnist手写数字识别代码,过程,网络详解
    [Caffe]:关于caffe新手入门
    Caffe中对MNIST执行train操作执行流程解析

    1.下载mnist数据集

    进入caffe目录cd ./caffe,caffe里面是不包括训练的数据集的,但是提供了下载的shell文件,直接运行即可下载数据集
    sudo sh ./data/mnist/get_mnist.sh
    运行下载四个文件
    (1) train-images-idx-ubyte-----训练样本集合
    (2) train-labels-idx1-ubyte----训练样本对应的标注的集合
    (3) t10k-images-idx3-ubyte-----测试图片集
    (4) t10k-labels-idx1-ubyte-----测试样本对应的标注的集合

    2、转换格式,转换成caffe可以运行的LMDB格式

    ./examples/mnist/create_mnist.sh
    完成后在examples/mnist生成了两个目录:mnist_test_lmdb和mnist_train_lmdb,每个目录下有两个文件:data.mdb和lock.mdb。

    数据格式转换

    现在我们来看一下caffe/examples/mnist/create_mnist.sh这个shell脚本文件的代码:

    #!/usr/bin/env sh #[1]这一行是你用vim创建一个shell脚本默认生成的
    # This script converts the mnist data into lmdb/leveldb format,
    # depending on the value assigned to $BACKEND.
    set -e
    #[2]定义路径变量
    
    EXAMPLE=examples/mnist #[1]转换成功之后的LMDB数据存储的位置
    DATA=data/mnist #[2]我们上一步下载的原始数据的位置
    BUILD=build/examples/mnist #[3]执行数据转换的程序所在的位置
    
    BACKEND="lmdb" #[3]转换成功之后的数据类型:LMDB形式
    
    echo "Creating ${BACKEND}..." #[4]输出提示信息,$在shell编程中,表示引用变量
    
    rm -rf $EXAMPLE/mnist_train_${BACKEND} #[5]如果已经存在转换成功的数据,删除
    rm -rf $EXAMPLE/mnist_test_${BACKEND}
    
    #[6]开始进行数据转换
    $BUILD/convert_mnist_data.bin $DATA/train-images-idx3-ubyte \
    $DATA/train-labels-idx1-ubyte $EXAMPLE/mnist_train_${BACKEND} --backend=${BACKEND}
    $BUILD/convert_mnist_data.bin $DATA/t10k-images-idx3-ubyte \
    $DATA/t10k-labels-idx1-ubyte $EXAMPLE/mnist_test_${BACKEND} --backend=${BACKEND}
    echo "Done." #[7]执行完毕,输出Done
    #[1]第一部分---$BUILD/convert_mnist_data.bin----调用build/examples/mnist/文件
    # 夹下的convert_mnist_data.bin可执行程序,这个程序将原始数据转换为LMDB格式的
    # 程序,起作用相当于windows下的exe可执行文件,这个可执行程序所对应的源文件为
    # caffe/examples/mnist/convert_mnist_data.cpp
    #[2]第二部分---$DATA/train-images-idx3-ubyte----$DATA/train-labels-idx1-ubyte----
    # 要进行转换的原始数据
    #[3]第三部分---$EXAMPLE/mnist_train_${BACKEND} --backend=${BACKEND}---指定转换之后的
    # 数据格式和数据存储的位置
    

    网络结构定义在./examples/mnist/lenet_train_test.prototxt中。
    训练参数配置在./examples/mnist/lenet_solver.prototxt中。
    如果电脑有GPU,则不需要修改配置文件lenet_solver.prototxt;如果没有GPU则需要修改lenet_solver的配置文件lenet_solver.prototxt
    sudo vi ./examples/mnist/lenet_solver.prototxt
    将这个文件的最后一行:
    solver_mode:GPU------->solver_mode:CPU

    3、训练超参数,有两种方式:

    (1)通过命令行执行训练,代码如下:(这是书上的例子,可以参考网址上的例子,在后面。不同之处:网址上的例子在此处新建一个文件夹保存训练的模型)
    cd ./caffe
    ./build/tools/caffe train --solver=examples/mnist/lenet_solver.prototxt
    (2)将以上训练的命令行代码写成训练脚本并命名为train_lenet.sh,放到mnist目录下。运行train_lenet.sh脚本进行训练。
    cd caffe
    ./examples/mnist/train_lenet.sh
    (若出错:Check failed: mdb_status == 0 (13 vs. 0) Permission denied *** Check failure stack trace: ***,则到caffe目录下,先清除:sudo make clean(删掉了原有build文件)后,并重新编译:sudo make all -j4(重新生成build文件),再重新训练。
    等待几分钟,训练好后截图如下,准确率99.07%:

    训练结果截图
    最终训练的模型保存在caffe/examples/mnist/lenet_iter_10000.caffemodel文件中,训练状态保存在caffe/examples/mnist/lenet_iter_10000.solverstate文件中。

    4、用训练好的模型对数据进行预测

    利用训练好的Lenet-5模型权值文件(examples/mnist/lenet_iter_10000.caffemodel)可以对测试数据集(或外部测试集)进行预测,代码如下:(注意caffe.bin ,prototxt ,caffemodel 等的路径一定要根据自己的写对:)
    ./build/tools/caffe.bin test -model=examples/mnist/lenet_train_test.prototxt -weights=examples/mnist/lenet_iter_5000.caffemodel -iterations=100

    测试结果截图

    相关文章

      网友评论

          本文标题:运行caffe的mnist示例

          本文链接:https://www.haomeiwen.com/subject/tgzvtqtx.html