深度学习中各种图像库的图片读取方式总结

在数据预处理过程中，经常需要写python代码搭建深度学习模型，不同的深度学习框架会有不同的读取数据方式(eg：Caffe的python接口默认BGR格式，Tensorflow默认RGB格式)，经常需要借助python图像库来读取图像并进行一系列的图像处理工作。

这篇文章总结了Python图像库处理数据的基本方式：

1.Opencv

2.PIL(pillow)

3.matplotlib.image

4.scipy.misc

5.skimage

6.Tensorflow

opencv: cv2.imread

opencv是最常用的图像处理库

基本图像操作：

import cv2

import numpy as np

#读入图片：默认彩色图，cv2.IMREAD_GRAYSCALE灰度图，cv2.IMREAD_UNCHANGED包含alpha通道

img = cv2.imread('aa.jpg')

gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) # 转换为灰度图

img1 = cv2.cvtColor(img,cv2.COLOR_BGR2RGB) # 转换为RGB

cv2.imshow('src',img)

cv2.imshow('gray',gray)

cv2.imshow('RGB',img1)

print(img.shape) # (h,w,c)

print(img.size) # 像素总数目

print(img.dtype) # 像素类型

cv2.imwrite('test.jpg',img1) # 保存图像

cv2.waitKey()

值得注意的是：

1.opencv读进来的图片已经是一个numpy矩阵了，彩色图片维度是(高度，宽度，通道数)。数据类型是uint8。

2.opencv读进来的图片的通道排列是BGR，而不是主流的RGB

Caffe使用opencv处理图像的基本操作：

import os

import numpy as np

import cv2

import sys

caffe_root = './fancp/caffe/' #指定caffe路径

sys.path.insert(0, caffe_root + 'python')

import caffe

def predict(path, deploy, weight):

net = caffe.Net( deploy, weight, caffe.TEST)

batch_size, channels, height, width = net.blobs['data'].data.shape

X = np.zeros([1,channels,height,width], dtype = np.float32) # caffe的输入格式[N,C,H,W]

img = cv2.imread(path).astype(np.float32)# 读取图片，并进行类型转换

Img = cv2.resize(img,(102,102))[11:90,11:90,::-1]# Resize以及ROI操作

img -= 127.5

img /= 128.0 # 归一化操作

img = np.transpose(img,(2,0,1)) # 通道转换，有H,W,C转变成 C,H,W

#在深度学习搭建CNN时，往往要做相应的图像数据处理，比如图像要扩展维度，比如扩展成(batch_size,channels,height,width)。

img=np.expand_dims(img,axis=0)

X[0,:,:,:] = img

net.blobs['data'].data[...] = X

output = net.forward()

output = output['logits'][0]

print(output) # 输出结果

return 0

if __name__ == '__main__':

#caffe.set_device(0)

#caffe.set_mode_gpu()

caffe.set_mode_cpu()

model_def = '**.prototxt'

model_weights = '**.caffemodel'

image = 'test.jpg'

result = predict(image, model_def, model_weights)

PIL：PIL.Image.open

PIL即Python Imaging Library，也即为我们所称的Pillow，是一个很流行的图像库，它比opencv更为轻巧，正因如此，它深受大众的喜爱。

图像的基本操作：

from PIL import Image

import numpy as np

img = Image.open('aa.jpg')

print(img.format)

print(img.size) #注意，省略了通道。 (w，h)

print(img.mode) #L为灰度图，RGB为真彩色,RGBA为加了透明通道

img.show() # 显示图片

gray = img.convert('L') # 转化为灰度图

gray.show()

#pillow读进来的图片不是矩阵，我们将图片转矩阵

arr = np.array(img)

print(arr.shape)

print(arr.dtype)

#矩阵再转为图像

new_im = Image.fromarray(arr)

new_im.save('test.png')

注：

1.PIL读进来的图像是一个对象，而不是我们所熟知的numpy 矩阵。

2.PIL的通道顺序是RGB

图像操作：

#分离合并通道

r, g, b = img.split()

img = Image.merge("RGB", (b, g, r))

img = img.copy() #复制图像

#ROI获取

img3 = Image.open('1.jpg')

roi = img3.crop((0,0,300,300)) #(左上x，左上y，右下x，右下y)坐标

roi.show()

matplotlib：matplotlib.image.imread

matplotlib多用于科学绘图

图像的基本操作：

import matplotlib.pyplot as plt

import numpy as np

image = plt.imread('aa.jpg')

plt.imshow(image)

plt.axis('off') #也可以关闭显示x，y轴上的数字

plt.show()

#plt.imread读入的就是一个矩阵，跟opencv一样，但彩图读进的是RGB，与opencv有区别

print(image.shape) # (h,w,c)

print(image.size)

print(image.dtype)

综合例子：

import matplotlib.pyplot as plt

import numpy as np

im_lol1 = plt.imread('aa.jpg')

im_lol2 = plt.imread('aa.jpg')

figure = plt.figure(figsize=(10,5)) # 调整显示图片的大小

'''

figsize参数：指定绘图对象的宽度和高度，单位为英寸；dpi参数指定绘图对象的分辨率，

即每英寸多少个像素，缺省值为80。因此本例中所创建的图表窗口的宽度为8*80 = 640像素

'''

plt.axis("off")#不显示刻度

ax = figure.add_subplot(121) # 图片以1行2列的形式显示

plt.axis('off')

ax.imshow(im_lol1) #第一张图

ax.set_title('image 1')#给图片加titile

ax = figure.add_subplot(122)

plt.axis('off')

ax.imshow(im_lol2)

ax.set_title('image 2')#给图片加titile

plt.savefig('twp.jpg')

plt.show()

scipy.misc：scipy.misc.imread

图像的基本操作：

from scipy import misc

import matplotlib.pyplot as plt

im = misc.imread('aa.jpg')

print(im.dtype)

print(im.size)

print(im.shape)

misc.imsave('misc1.png',im)

plt.imshow(im)

plt.show()

注：imread和imsave在后来的版本将会被弃用，现在使用imageio.imread和imageio.imwrite。

深度学习中使用misc：

from scipy import misc

import numpy as np

import matplotlib.pyplot as plt

image = misc.imread('./fancp/aa.jpg')

image = misc.imresize(image, (112,96))

image = image.astype(np.float32)

image -= 127.5

image /= 128.0

image = image[10:89,10:89,:]

image = image.transpose(2, 0, 1)

print(image.shape)

skimage：skimage.io.imread

图像的基本操作：

from skimage import io

from skimage import color

im = io.imread('aa.jpg')

print(im.shape) # numpy矩阵，(h,w,c)

print(im.dtype)

print(im.size)

im3 = color.rgb2grey(im)# 灰度化处理

io.imshow(im3)

io.imsave('sk.png',im)

注：图像也是以numpy array形式读入

Tensorflow：tf.image.decode

1.TensorFlow函数：tf.image.decode_bmp

tf.image.decode_bmp函数：

tf.image.decode_bmp(

contents,

channels=0,

name=None

)

将BMP编码图像的第一帧解码为uint8张量。

attr channels表示解码图像的期望数量的颜色通道。

接受的值是：

0：使用BMP编码图像中的通道数量。

3：输出RGB图像。

4：输出RGBA图像。

参数：

contents：string类型的Tensor，0维，BMP编码的图像。

channels：可选的int，默认为0。

name：操作的名称(可选)。

返回值：

函数返回uint8类型的Tensor。

2.TensorFlow函数：tf.image.decode_jpeg

tf.image.decode_jpeg函数：

tf.image.decode_jpeg(

contents,

channels=0,

ratio=1,

fancy_upscaling=True,

try_recover_truncated=False,

acceptable_fraction=1,

dct_method='',

name=None

)

将JPEG编码图像解码为uint8张量。

attr channels表示解码图像的期望数量的颜色通道。

接受的值是：

0：使用JPEG编码图像中的通道数量。

1：输出灰度图像。

3：输出RGB图像。

如果需要，JPEG编码的图像将被转换以匹配请求的颜色通道数量。

attr ratio允许在解码过程中将图像缩小整数倍。允许的值为：1、2、4和8。这比稍后缩小图像要快得多。

参数：

contents：string类型的Tensor，0维，JPEG编码的图像。

channels：可选的int，默认为0，解码图像的颜色通道数量。

ratio：可选的int，默认为1，缩小比例。

fancy_upscaling：可选的bool，默认为True，如果为true，则使用更慢但更好的色度平面升级(仅限yuv420 / 422)。

try_recover_truncated：可选的bool，默认为False，如果为true，则尝试从截断的输入中恢复图像。

acceptable_fraction：可选的float，默认为1，在截断输入之前所需的最小行数被接受。

dct_method：可选的string，默认为""，用于指定用于解压缩的算法提示的字符串；默认为“”，映射到系统特定的默认值。当前有效值为[“INTEGER_FAST”，“INTEGER_ACCURATE”]。

name：操作的名称(可选)。

返回值：

该tf.image.decode_jpeg函数将返回uint8类型的Tensor。

3.TensorFlow函数：tf.image.decode_png

tf.image.decode_png函数：

tf.image.decode_png(

contents,

channels=0,

dtype=tf.uint8,

name=None

)

将PNG编码的图像解码为uint8或uint16张量。

attr channels表示解码图像的期望数量的颜色通道。

接受的值是：

0：使用PNG编码图像中的通道数量。

1：输出灰度图像。

3：输出RGB图像。

4：输出RGBA图像。

如果需要，将PNG编码的图像转换为与请求的颜色通道数匹配。

此操作还支持解码JPEG和非动画GIF，因为界面相同，但使用tf.image.decode_image将更清晰。

参数：

contents：string类型的Tensor，0维，PNG编码的图像。

channels：可选的int，默认为0，解码图像的颜色通道数量。

dtype：可选的tf.DType，其来自：tf.uint8，tf.uint16，默认为tf.uint8。

name：操作的名称(可选)。

返回值：

该函数返回dtype类型的Tensor。

4.TensorFlow函数：tf.image.decode_image

tf.image.decode_image函数

tf.image.decode_image(

contents,

channels=None,

name=None

)

decode_bmp，decode_gif，decode_jpeg和decode_png的方便函数。

检测图像是否为BMP，GIF，JPEG或PNG，并执行相应的操作将输入字节string转换为类型uint8的Tensor。

注意: decode_gif返回一个4维数组[num_frames、高度、宽度、3]，而不是decode_bmp、decode_jpeg和decode_png，后者返回3维数组[height, width, num_channels]。如果您使用BMP、JPEG或PNG文件混合GIF文件，请确保在构造图表时考虑到这一点。

参数：

contents：0-D string，编码的图像字节。

channels：可选的int，默认为0，解码图像的颜色通道数量。

name：操作的名称(可选)

返回值：

对于BMP、JPEG和PNG图像，形状为[height, width, num_channels]或者对于GIF图像，形状为[num_frames, height, width, 3]的类型为uint8的Tensor。

可能引发的异常：

ValueError：通道数量不正确。

5.TensorFlow将raw格式转换为张量

tf.decode_raw函数

decode_raw (

bytes ，

out_type ，

little_endian = None ，

name = None

)

将字符串的字节重新解释为数字的向量。

ARGS：

bytes：字符串类型的张量。所有元素的长度必须相同。

out_type：一个选自：tf.half，tf.float32，tf.float64，tf.int32，tf.uint8，tf.int16，tf.int8 以及 tf.int64 的 tf.DType 。

little_endian：可选的 bool 值，默认为 True。输入字节是否为小字节顺序。忽略存储在单个字节 (如 uint8) 中的 out_type 值。

name：操作的名称(可选)。

返回：

out_type 类型的张量。一个比输入字节多一个维度的张量。添加的维度的大小将等于字节的元素的长度除以要表示 out_type 的字节数。

总结：

除了opencv读入的彩色图片以BGR顺序存储外，其他所有图像库读入彩色图片都以RGB存储。

除了PIL读入的图片是img类之外，其他库读进来的图片都是以numpy 矩阵。

参考：

https://www.cnblogs.com/skyfsm/p/8276501.html

https://www.w3cschool.cn/tensorflow_python/

注：博众家之所长，集群英之荟萃。