問題提出
給你一張人像圖片，讓你分辨照片中的人是男人還是女人（暫時不考慮其他情況）。對人來說， 這是個比較簡單的任務(wù)，但是對于機器來說，卻不是那么簡單。本文主要介紹如何使用深度學習的方法來辨別男女。同時，通過對這個例子的講解，了解caffe的Python接口如何進行分類。
網(wǎng)絡(luò)的創(chuàng)建
本文使用的CNN網(wǎng)絡(luò)及模型來自于這里。首先我們將創(chuàng)建網(wǎng)絡(luò)，并使用測試圖片測試這個網(wǎng)絡(luò)的效果。
首先我假設(shè)，你已經(jīng)安裝了caffe框架及對應(yīng)的Python接口，并安裝了matplotlib，如果沒有，請先自行安裝，網(wǎng)絡(luò)有各種教程。
第一步是設(shè)置Python，numpy和matplotlib，代碼如下：
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['figure.figsize'] = (10,10)
plt.rcParams['image.interpolation'] = 'nearest'
plt.rcParams['image.cmap'] = 'gray'
第二步加載caffe，代碼如下：
import sys
caffe_root = '../caffe/' #根據(jù)自己的目錄設(shè)置
sys.path.insert(0, caffe_root+'python')
import caffe
第三步是建立網(wǎng)絡(luò)，代碼如下：
#使用gpu進行計算
caffe.set_device(0)
caffe.set_mode_gpu()
model_def = 'deploy_gender.prototxt'
model_weights = 'gender_net.caffemodel'
#建立網(wǎng)絡(luò)
net = caffe.Net(model_def, model_weights, caffe.TEST)
第四步是讀入測試圖片，主要包括對圖片的預(yù)處理，代碼如下：
mean_filename = './mean.binaryproto'
proto_data = open(mean_filename, 'r').read()
a = caffe.io.caffe_pb2.BlobProto.FromString(proto_data)
mean = caffe.io.blobproto_to_array(a)[0].mean(1).mean(1)
#預(yù)處理，將圖像由范圍為[0,1]的rgb圖像轉(zhuǎn)化為范圍為[0,255]的bgr，然后再減去平均值
transformer = caffe.io.Transformer({'data':net.blobs['data'].data.shape})
transformer.set_transpose('data', (2,0,1)) #把通道維度移到最外面
transformer.set_mean('data', mean)
transformer.set_raw_scale('data', 255);
transformer.set_channel_swap('data', (2,1,0)) #swap channels from RGB to BGR
net.blobs['data'].reshape(1,3,227,227)
#讀入圖片
image = caffe.io.load_image('./lh3.jpg')
transformed_image = transformer.preprocess('data', image)
net.blobs['data'].data[...] = transformed_image
最后一步，將數(shù)據(jù)輸入到網(wǎng)絡(luò)，進行分類，代碼如下：
#分類并輸出結(jié)果
labels = ['男性','女性']
output = net.forward()
output_prob = output['prob'][0]
print output_prob
print labels[output_prob.argmax()]
下面是一些測試結(jié)果：
總的來說，這個模型的分類還是非常準的。但是對一些男扮女裝難以識別。
查看網(wǎng)絡(luò)
我們已知知道如何使用這個網(wǎng)絡(luò)及已訓練的模型來進行性別識別，雖然還有點瑕疵，但是基本上符合我們的要求了。接下來，讓我們來學習如何查看這個網(wǎng)絡(luò)的結(jié)構(gòu)：
for layer_name, blob in net.blobs.iteritems():
print layer_name+'\t'+str(blob.data.shape)
輸出的結(jié)果為：
可以看出，這個網(wǎng)絡(luò)非常簡單，只由三個卷基層和三個全連接層構(gòu)成。除了可以查看各層的網(wǎng)絡(luò)結(jié)構(gòu)，我們還能查看各層參數(shù)矩陣的結(jié)構(gòu)：
查看中間生成的feature map/過濾器
我們已經(jīng)知道如何查看網(wǎng)絡(luò)及參數(shù)的接口，下面我們來看看在網(wǎng)絡(luò)動態(tài)的分類過程中，feature map/過濾器的變化。幫助函數(shù)的代碼如下：
def showimage(im):
if im.ndim == 3:
im = im[:, :, ::-1]
plt.set_cmap('jet')
plt.imshow(im)
plt.axis('off')
plt.show()
def vis_square(data, padsize=1, padval=0):
data -= data.min()
data /= data.max()
# force the number of filters to be square
n = int(np.ceil(np.sqrt(data.shape[0])))
padding = ((0, n ** 2 - data.shape[0]), (0, padsize), (0, padsize)) + ((0, 0),) * (data.ndim - 3)
data = np.pad(data, padding, mode='constant', constant_values=(padval, padval))
# tile the filters into an image
data = data.reshape((n, n) + data.shape[1:]).transpose((0, 2, 1, 3) + tuple(range(4, data.ndim + 1)))
data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:])
showimage(data)
調(diào)用的代碼如下：
#feature map
feat = net.blobs['conv1'].data[0,:49]
vis_square(feat, padval=1)
#filters
filters = net.params['conv1'][0].data
vis_square(filters.transpose(0,2,3,1))
下圖是第一張圖conv1的feature map。
總結(jié)
我們已經(jīng)知道如何調(diào)用已有的網(wǎng)絡(luò)及訓練好的模型對圖像進行分類，下篇我們來學習下如何訓練自己的模型。
