8. Pycaffe的安装与使用

a)数据的准备与生成

• 数据图像按照类别放置在文件夹中，文件夹名称为其类别标签。（当然你也可以放在一个文件夹中，指定标签说明）

├── 0
│   ├── img1.jpg
│   ├── img1.jpg
│   ├── imgx.jpg
│   └── imgN.jpg
├── 1
│   ├── img1.jpg
│   ├── img1.jpg
│   ├── imgx.jpg
│   └── imgN.jpg

• 生成list.txt, 这才是图像与标签对应的文件，具体内容如下。下面将会按照该文件生存caffe兼容的数据格式。

/media/user/0/img1.jpg 0
/media/user/0/img2.jpg 0
/media/user/0/imgx.jpg 0
/media/user/0/imgN.jpg 0
/media/user/1/img1.jpg 1
/media/user/1/img2.jpg 1
/media/user/1/imgx.jpg 1
/media/user/1/imgN.jpg 1

这个文件当然可以自己慢慢写，最好是自己通过某种代码生成。

• 生成Imdb数据格式，就是指定命令(convert_imageset)、输入list.txt 和输出目录。简化的版本如下：

DATA=/home/wukong/train
~/wukong/caffe/build/tools/convert_imageset   $DATA/list.txt  $DATA/img_train_lmdb

复杂点的命令，也就是可以指定些可选的参数

#!/bin/sh
Caffe=/home/wukong/caffe 
DATA=/home/wukong/List/
rm -rf $DATA/img_train_lmdb
$Caffe/build/tools/convert_imageset --shuffle=true --resize_height=224 --resize_width=224 /  $DATA/list.txt  $DATA/img_train_lmdb

b) 网络与训练

• 网络结构的定义存放在model.prototxt中，网络结构在训练和预测过程中稍有不同，参考 Caffe中deploy.prototxt 和 train_val.prototxt 区别。个人的推测是，参数是通过layer名称查找的，也就是deploy.prototxt中的layer(具有参数)的name在train_val.prototxt中layer定义中必然存在，然后通过*.caffemodel实现参数的传递。

  train_val.prototxt 一般需要指定训练数据、验证数据所在的位置
  name: "CaffeNet"
  layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    mirror: true
    mean_file: "[my-location]/db/mean.binaryproto"
  }
  data_param {
    source: "[my-location]/db/train_lmdb" #这就是训练数据的位置
    batch_size: 256
    backend: LMDB
   }
  }
  
   layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {
    mirror: false
    mean_file: "[my-location]/db/mean.binaryproto"
  }
  data_param {
    source: "[my-location]/db/validation_lmdb" #这就是测试数据的位置
    batch_size: 50
    backend: LMDB
  }
  }
  

• 网络总算是定义好了，那么打算如何训练呢？同样需要一个配置文件*.solver.prototxt来给定网络(前面定义的model)及各种训练参数(比如迭代次数，学习率等)

  net: "examples/mnist/lenet_train_test.prototxt" #指定网络model，当然也包括了数据哦！
  test_iter: 100
  test_interval: 500
  base_lr: 0.01
  momentum: 0.9
  type: SGD
  weight_decay: 0.0005
  lr_policy: "inv"
  gamma: 0.0001
  power: 0.75
  display: 100
  max_iter: 20000
  snapshot: 5000
  snapshot_prefix: "examples/mnist/lenet"
  solver_mode: CPU
  

• 感觉就是万事俱备，只欠东风，那就开始训练吧，用caffe的train语句。将会得到*.caffemodel文件

#！/usr/bin/env sh
./home/wukong/caffe/build/tools/caffe train --solver=*.solver.prototxt

这样开展模型的训练是ok的，但是很多网络(比如ResNet,Inception)都存在这里了,我们直接迁移学习(finetune)不更好么？这样就不得不提到caffe train 的参数说明。

-solver：必选参数。一个模型的训练配置文件。
-weights:可选参数。需要一个caffemodel，不能和-snapshot同时使用

更多细节请参考caffe命令及其参数解析

c)训练网络的使用(预测)

我采用的是pycaffe的接口使用caffemodel的。主要包括调用网络(load net model)和调用数据(input data)

import caffe
import numpy  as np

# 加载模型
deploy_file = '/home/wukong/wukong_net.prototxt'
model_data = '/home/wukong/wukong_net_param.caffemodel'
net = caffe.Classifier(deploy_file,model_data)              # 方式1:加载model和network
net = caffe.Net(deploy_file, model_data, caffe.TEST)  # 方式2:加载model和network

# 加载数据
image_file = '/home/wukong/mm.jpg'
input_image = caffe.io.load_image(image_file) #caffe 接口导入图像文件
net.blobs['data'].data = input_image #类似于重修修改网络结构

# 预测运行网络
out = net.forward()
results = out['prob'] #等后续处理

事情到此，基于pycaffe的使用框架大致弄清楚了。后面需要在细节部分展开学习。

安装部分错误及解决办法

• Error：# “Could not import setuptools which is required to install from a source distribution.”
  解决办法是：

 pip install -U setuptools

• pycaffe编译时我遇到的几个坑