问题提出

给你一张人像图片，让你分辨照片中的人是男人还是女人(暂时不考虑其他情况)。对人来说， 这是个比较简单的任务，但是对于机器来说，却不是那么简单。本文主要介绍如何使用深度学习的方法来辨别男女。同时，通过对这个例子的讲解，了解caffe的Python接口如何进行分类。

网络的创建

本文使用的CNN网络及模型来自于这里。首先我们将创建网络，并使用测试图片测试这个网络的效果。

首先我假设，你已经安装了caffe框架及对应的Python接口，并安装了matplotlib，如果没有，请先自行安装，网络有各种教程。

第一步是设置Python，numpy和matplotlib，代码如下：

import numpy as np

import matplotlib.pyplot as plt

plt.rcParams['figure.figsize'] = (10,10)

plt.rcParams['image.interpolation'] = 'nearest'

plt.rcParams['image.cmap'] = 'gray'

第二步加载caffe，代码如下：

import sys

caffe_root = '../caffe/' #根据自己的目录设置

sys.path.insert(0, caffe_root+'python')

import caffe

第三步是建立网络，代码如下：

#使用gpu进行计算

caffe.set_device(0)

caffe.set_mode_gpu()

model_def = 'deploy_gender.prototxt'

model_weights = 'gender_net.caffemodel'

#建立网络

net = caffe.Net(model_def, model_weights, caffe.TEST)

第四步是读入测试图片，主要包括对图片的预处理，代码如下：

mean_filename = './mean.binaryproto'

proto_data = open(mean_filename, 'r').read()

a = caffe.io.caffe_pb2.BlobProto.FromString(proto_data)

mean = caffe.io.blobproto_to_array(a)[0].mean(1).mean(1)

#预处理，将图像由范围为[0,1]的rgb图像转化为范围为[0,255]的bgr，然后再减去平均值

transformer = caffe.io.Transformer({'data':net.blobs['data'].data.shape})

transformer.set_transpose('data', (2,0,1)) #把通道维度移到最外面

transformer.set_mean('data', mean)

transformer.set_raw_scale('data', 255);

transformer.set_channel_swap('data', (2,1,0)) #swap channels from RGB to BGR

net.blobs['data'].reshape(1,3,227,227)

#读入图片

image = caffe.io.load_image('./lh3.jpg')

transformed_image = transformer.preprocess('data', image)

net.blobs['data'].data[...] = transformed_image

最后一步，将数据输入到网络，进行分类，代码如下：

#分类并输出结果

labels = ['男性','女性']

output = net.forward()

output_prob = output['prob'][0]

print output_prob

print labels[output_prob.argmax()]

下面是一些测试结果：

0.926的概率为女性

0.999为女性

0.997为男性

0.998为男性

总的来说，这个模型的分类还是非常准的。但是对一些男扮女装难以识别。

0.95为女性

查看网络

我们已知知道如何使用这个网络及已训练的模型来进行性别识别，虽然还有点瑕疵，但是基本上符合我们的要求了。接下来，让我们来学习如何查看这个网络的结构：

for layer_name, blob in net.blobs.iteritems():

print layer_name+'\t'+str(blob.data.shape)

输出的结果为：

可以看出，这个网络非常简单，只由三个卷基层和三个全连接层构成。除了可以查看各层的网络结构，我们还能查看各层参数矩阵的结构：

第二列是权重参数，第三列是偏置值。

查看中间生成的feature map/过滤器

我们已经知道如何查看网络及参数的接口，下面我们来看看在网络动态的分类过程中，feature map/过滤器的变化。帮助函数的代码如下：

def showimage(im):

if im.ndim == 3:

im = im[:, :, ::-1]

plt.set_cmap('jet')

plt.imshow(im)

plt.axis('off')

plt.show()

def vis_square(data, padsize=1, padval=0):

data -= data.min()

data /= data.max()

# force the number of filters to be square

n = int(np.ceil(np.sqrt(data.shape[0])))

padding = ((0, n ** 2 - data.shape[0]), (0, padsize), (0, padsize)) + ((0, 0),) * (data.ndim - 3)

data = np.pad(data, padding, mode='constant', constant_values=(padval, padval))

# tile the filters into an image

data = data.reshape((n, n) + data.shape[1:]).transpose((0, 2, 1, 3) + tuple(range(4, data.ndim + 1)))

data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:])

showimage(data)

调用的代码如下：

#feature map

feat = net.blobs['conv1'].data[0,:49]

vis_square(feat, padval=1)

#filters

filters = net.params['conv1'][0].data

vis_square(filters.transpose(0,2,3,1))

下图是第一张图conv1的feature map。

总结

我们已经知道如何调用已有的网络及训练好的模型对图像进行分类，下篇我们来学习下如何训练自己的模型。