问题提出
给你一张人像图片，让你分辨照片中的人是男人还是女人（暂时不考虑其他情况）。对人来说， 这是个比较简单的任务，但是对于机器来说，却不是那么简单。本文主要介绍如何使用深度学习的方法来辨别男女。同时，通过对这个例子的讲解，了解caffe的Python接口如何进行分类。
网络的创建
本文使用的CNN网络及模型来自于这里。首先我们将创建网络，并使用测试图片测试这个网络的效果。
首先我假设，你已经安装了caffe框架及对应的Python接口，并安装了matplotlib，如果没有，请先自行安装，网络有各种教程。
第一步是设置Python，numpy和matplotlib，代码如下：
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['figure.figsize'] = (10,10)
plt.rcParams['image.interpolation'] = 'nearest'
plt.rcParams['image.cmap'] = 'gray'
第二步加载caffe，代码如下：
import sys
caffe_root = '../caffe/' #根据自己的目录设置
sys.path.insert(0, caffe_root+'python')
import caffe
第三步是建立网络，代码如下：
#使用gpu进行计算
caffe.set_device(0)
caffe.set_mode_gpu()
model_def = 'deploy_gender.prototxt'
model_weights = 'gender_net.caffemodel'
#建立网络
net = caffe.Net(model_def, model_weights, caffe.TEST)
第四步是读入测试图片，主要包括对图片的预处理，代码如下：
mean_filename = './mean.binaryproto'
proto_data = open(mean_filename, 'r').read()
a = caffe.io.caffe_pb2.BlobProto.FromString(proto_data)
mean = caffe.io.blobproto_to_array(a)[0].mean(1).mean(1)
#预处理，将图像由范围为[0,1]的rgb图像转化为范围为[0,255]的bgr，然后再减去平均值
transformer = caffe.io.Transformer({'data':net.blobs['data'].data.shape})
transformer.set_transpose('data', (2,0,1)) #把通道维度移到最外面
transformer.set_mean('data', mean)
transformer.set_raw_scale('data', 255);
transformer.set_channel_swap('data', (2,1,0)) #swap channels from RGB to BGR
net.blobs['data'].reshape(1,3,227,227)
#读入图片
image = caffe.io.load_image('./lh3.jpg')
transformed_image = transformer.preprocess('data', image)
net.blobs['data'].data[...] = transformed_image
最后一步，将数据输入到网络，进行分类，代码如下：
#分类并输出结果
labels = ['男性','女性']
output = net.forward()
output_prob = output['prob'][0]
print output_prob
print labels[output_prob.argmax()]
下面是一些测试结果：
0.926的概率为女性
0.999为女性
0.997为男性
0.998为男性
总的来说，这个模型的分类还是非常准的。但是对一些男扮女装难以识别。
0.95为女性
查看网络
我们已知知道如何使用这个网络及已训练的模型来进行性别识别，虽然还有点瑕疵，但是基本上符合我们的要求了。接下来，让我们来学习如何查看这个网络的结构：
for layer_name, blob in net.blobs.iteritems():
print layer_name+'\t'+str(blob.data.shape)
输出的结果为：
可以看出，这个网络非常简单，只由三个卷基层和三个全连接层构成。除了可以查看各层的网络结构，我们还能查看各层参数矩阵的结构：
第二列是权重参数，第三列是偏置值。
查看中间生成的feature map/过滤器
我们已经知道如何查看网络及参数的接口，下面我们来看看在网络动态的分类过程中，feature map/过滤器的变化。帮助函数的代码如下：
def showimage(im):
if im.ndim == 3:
im = im[:, :, ::-1]
plt.set_cmap('jet')
plt.imshow(im)
plt.axis('off')
plt.show()
def vis_square(data, padsize=1, padval=0):
data -= data.min()
data /= data.max()
# force the number of filters to be square
n = int(np.ceil(np.sqrt(data.shape[0])))
padding = ((0, n ** 2 - data.shape[0]), (0, padsize), (0, padsize)) + ((0, 0),) * (data.ndim - 3)
data = np.pad(data, padding, mode='constant', constant_values=(padval, padval))
# tile the filters into an image
data = data.reshape((n, n) + data.shape[1:]).transpose((0, 2, 1, 3) + tuple(range(4, data.ndim + 1)))
data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:])
showimage(data)
调用的代码如下：
#feature map
feat = net.blobs['conv1'].data[0,:49]
vis_square(feat, padval=1)
#filters
filters = net.params['conv1'][0].data
vis_square(filters.transpose(0,2,3,1))
下图是第一张图conv1的feature map。
总结
我们已经知道如何调用已有的网络及训练好的模型对图像进行分类，下篇我们来学习下如何训练自己的模型。
网友评论