猫狗大战——基于TensorFlow的猫狗识别（2）

微信公众号：龙跃十二

我是小玉，一个平平无奇的小天才！

上篇文章我们说了关于猫狗大战这个项目的一些准备工作，接下来，我们看看具体的代码详解。

猫狗大战——基于TensorFlow的猫狗识别（1）

文件名：input_data.py

一、模块的导入：

import tensorflow as tf
import numpy as np
import os

tensorflow和numpy小玉就不在这里赘述了，os模块包含操作系统相关的功能，可以处理文件和目录这些我们日常手动需要做的操作。因为我们需要获取test目录下的文件，所以要导入os模块。

二、获取文件路径和标签

def get_files(file_dir):# file_dir: 文件夹路径# return: 乱序后的图片和标签cats = []label_cats = []dogs = []label_dogs = []# 载入数据路径并写入标签值for file in os.listdir(file_dir):name = file.split(sep='.')if name[0] == 'cat':cats.append(file_dir + file)label_cats.append(0)else:dogs.append(file_dir + file)label_dogs.append(1)print("There are %d cats\nThere are %d dogs" % (len(cats), len(dogs)))

注：函数get_files(file_dir)的功能是获取给定路径file_dir下的所有的训练数据（包括图片和标签），以list的形式返回。

三、对生成的图片路径和标签List做打乱处理

#把cat和dog合起来组成一个list（img和lab）
image_list = np.hstack((cats, dogs))
label_list = np.hstack((label_cats, label_dogs))
#利用shuffle打乱顺序
temp = np.array([image_list, label_list])
temp = temp.transpose()
np.random.shuffle(temp)#从打乱的temp中再取出list（img和lab）
image_list = list(temp[:, 0])
label_list = list(temp[:, 1])
label_list = [int(i) for i in label_list]

这里先用np.hstack()方法将猫和狗图片和标签整合到一起，得到image_list和label_list，hstack((a,b))的功能是将a和b以水平的方式连接，比如原来cats和dogs是长度为12500的向量，执行了hstack(cats, dogs)后，image_list的长度为25000，同理label_list的长度也为25000。接着将一一对应的image_list和label_list再合并一次。temp的大小是2×25000，经过转置（变成25000×2），然后使用np.random.shuffle()方法进行乱序。
　　最后从temp中分别取出乱序后的image_list和label_list列向量，作为函数的返回值。这里要注意，因为label_list里面的数据类型是字符串类型，所以加上label_list = [int(i) for i in label_list]这么一行将其转为int类型。

四、生成batch

函数get_batch()用于将图片分批次，因为一次性将所有25000张图片载入内存不现实也不必要，所以将图片分成不同批次进行训练。这里传入的image和label参数就是函数get_files()返回的image_list和label_list，是python中的list类型，所以需要将其转为TensorFlow可以识别的tensor格式。

变量的声明：

image, label: 要生成batch的图像和标签list
image_W, image_H: 图片的宽高
batch_size: 每个batch有多少张图片
capacity: 队列容量
return: 图像和标签的batch

# 生成相同大小的批次
def get_batch(image, label, image_W, image_H, batch_size, capacity):# 将python.list类型转换成tf能够识别的格式image = tf.cast(image, tf.string)label = tf.cast(label, tf.int32)# 生成队列input_queue = tf.train.slice_input_producer([image, label])image_contents = tf.read_file(input_queue[0])label = input_queue[1]image = tf.image.decode_jpeg(image_contents, channels=3)# 统一图片大小# 视频方法image = tf.image.resize_image_with_crop_or_pad(image, image_W, image_H)# 标准化数据image = tf.image.per_image_standardization(image) image_batch, label_batch = tf.train.batch([image, label],batch_size=batch_size,num_threads=64,   # 线程capacity=capacity)label_batch = tf.reshape(label_batch, [batch_size])return image_batch, label_batch

关于queen的理解，我是这样想的，在每一次的训练中，我们都需要从队列中取一个batch送到网络模型进行训练，然后又有新的图片从训练集填充至队列，形成一个无限的循环状态。队列相当于起到了训练库到网络模型间数据交接的作用，训练数据通过队列送入网络。

最后将得到的image_batch和label_batch返回。image_batch是一个4D的tensor，[batch, width, height, channels]，label_batch是一个1D的tensor，[batch]。

五、测试：

可以用下面的代码测试获取图片是否成功，因为之前将图片转为float32了，因此这里imshow()出来的图片色彩会有点奇怪，因为本来imshow()是显示uint8类型的数据（灰度值在uint8类型下是0~255，转为float32后会超出这个范围，所以色彩有点奇怪），不过这不影响后面模型的训练。

import matplotlib.pyplot as pltBATCH_SIZE = 2
CAPACITY = 256
IMG_W = 208
IMG_H = 208train_dir = "data\\train\\"
image_list, label_list = get_files(train_dir)
image_batch, label_batch = get_batch(image_list, label_list, IMG_W, IMG_H, BATCH_SIZE, CAPACITY)with tf.Session() as sess:i = 0coord = tf.train.Coordinator()threads = tf.train.start_queue_runners(coord=coord)try:while not coord.should_stop() and i < 1:img, label = sess.run([image_batch, label_batch])for j in np.arange(BATCH_SIZE):print("label: %d" % label[j])plt.imshow(img[j, :, :, :])plt.show()i += 1
except tf.errors.OutOfRangeError:print("done!")
finally:coord.request_stop()
coord.join(threads)

测试这部分在我们第一步导入数据时可以做一个简单的测试，保证我们的图片标签和batch的设置正确

下一篇讲讲关于这个模型的建立。

我是小玉，一个平平无奇的小天才，觉着有帮助就给我点个赞呗！