概述

通用图像分类公开的标准数据集常用的有CIFAR、ImageNet、COCO等，常用的细粒度图像分类数据集包括CUB-200-2011、Stanford Dog、Oxford-flowers等。其中ImageNet数据集规模相对较大，大量研究成果基于ImageNet。ImageNet数据从2010年来稍有变化，常用的是ImageNet-2012数据集，该数据集包含1000个类别：训练集包含1,281,167张图片，每个类别数据732至1300张不等，验证集包含50,000张图片，平均每个类别50张图片。

由于ImageNet数据集较大，下载和训练较慢，为了方便快速学习图像分类，我们使用CIFAR10数据集。本文讲解如何将数据集反向重建为rgb彩色图片。

cifar10数据集共有60000张彩色图像，图像大小是3通道的32*32，分为10个类，每类6000张图。这里面有50000张用于训练，构成了5个训练批，每一批10000张图；另外10000用于测试，单独构成一批。测试批的数据里，取自10类中的每一类，每一类随机取1000张。抽剩下的就随机排列组成了训练批。注意一个训练批中的各类图像并不一定数量相同，总的来看训练批，每一类都有5000张图。

数据的下载：共有三个版本：

python： http://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz

MATLAB： http://www.cs.toronto.edu/~kriz/cifar-10-matlab.tar.gz

bin： http://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz

下图是从每个类别中随机抽取了10张图片，展示了所有的类别。

解析

我们下载python版本的数据集 cifar-10-python.tar.gz 并解压，可以看到有5个trainbatch文件，1个testbatch文件：

文件使用pickle格式压缩，所以需要使用python的pickle库进行读取：

import cPickle

data = {}

with open(file, 'rb') as fo:

data = cPickle.load(fo)

print(data.keys())

#data是个dict，包含图片像素数据data和对应label数据{'data':[],'labels':[],'...'}

完整的读取并生成train/test图片的代码：

#!/usr/bin/env python

# -*- coding: utf-8 -*-

"""

File: read_cifar10.py

Desc: 读取cifar10数据集的图片和label，并生成以序号+label命名的图片

Author:yanjingang(yanjingang@mail.com)

Date: 2018/12/25 23:12

Cmd: nohup python read_cifar10.py >log/read_cifar10.log &

"""

import os

import random

import platform

import numpy

import subprocess

from PIL import Image

import utils

import cPickle

# cifar10训练集目录 from: http://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz

cifar10_path = './data/cifar-10-batches-py/'

train_batchs = [

cifar10_path + 'data_batch_1',

cifar10_path + 'data_batch_2',

cifar10_path + 'data_batch_3',

cifar10_path + 'data_batch_4',

cifar10_path + 'data_batch_5'

]

test_batchs = [cifar10_path + 'test_batch']

# 读取出的图片存放位置

output_path = './data/'

# label含义

label_list = ["airplane", "automobile", "bird", "cat", "deer", "dog", "frog", "horse", "ship", "truck"]

def reader_cifar10(batchs, path='train'):

"""读取cifar10数据集的图片和label，并生成以序号-label-labelname命名的图片"""

id = 0 # 图片集序号

for file in batchs:

data = {}

with open(file, 'rb') as fo:

data = cPickle.load(fo)

print(data.keys())

# print(data['data'])

for i in xrange(len(data['data'])): # 遍历图片像素数据

id += 1

# 读取单张图片数据

img = data['data'][i]

label = data['labels'][i]

label_name = label_list[label]

print(img)

print(len(img))

print(str(label) + ' : ' + label_name)

# 重建rgb彩色图片

img = img.reshape(3, 32, 32)

print(img)

print(img.shape)

r = Image.fromarray(img[0]).convert('L')

g = Image.fromarray(img[1]).convert('L')

b = Image.fromarray(img[2]).convert('L')

new_img = Image.merge('RGB', (r, g, b))

# 保存图片(序号-label-labelname.png)

utils.mkdir(output_path + path)

save_file = output_path + path + '/' + str(id) + '-' + str(label) + '-' + label_name + '.png'

new_img.save(save_file)

print save_file

# if id > 10:

# break

# break

if __name__ == '__main__':

# 读取训练集

# reader_cifar10(train_batchs, path='train')

# 读取测试集

reader_cifar10(test_batchs, path='test')

单图片日志：

*注：可以看到单img像素数据是一个3072长度的一维数组，先reshape成3*32*32的r/g/b数据格式再merge成一张彩图。

生成的本地图片： 

yan 18.12.25 23:36

参考：https://blog.csdn.net/jinxiaonian11/article/details/80192161