1.前言

我们知道，卷积核(也叫滤波器矩阵)在卷积神经网络中具有非常重要的作用。说白了，CNN主要作用在于提取图像的各种特征图(feature maps).

CNN主要是通过卷积运算来完成特征提取的。图像卷积运算，主要是通过设定各种特征提取滤波器矩阵(卷积核，通常设定大小为3x3,或者5x5的矩阵)，然后使用该卷积核在原图像矩阵(图像实际是像素值构成的矩阵)‘滑动’，实现卷积运算。如果对卷积运算还不太明白的，可以去看吴恩达的课程，他已经介绍的很详细了。本文重点在于，使用python来实现卷积运算，让大家可以看到实际的卷积运算结果，从而对CNN提取特征有比较直观的认识，进而更好地去理解基于卷积神经网络的图像识别，目标检测等深度学习算法。

在这里插入图片描述

2.自定义卷积核，用numpy完成图像卷积运算，生成对应特征图：

"""

@Project Name: CNN featuremap

@Author: LZP

@Time: 2021-02-02, 16:09

@Python Version: python3.6

@Coding Scheme: utf-8

@Interpreter Name: JupyterNotebook

"""

import numpy as np

import cv2

from matplotlib import pyplot as plt

def conv(image, kernel, mode='same'):

if mode == 'fill':#选择是否进行边缘填充

h = kernel.shape[0] // 2#卷积核的列除以2取整

w = kernel.shape[1] // 2#卷积核的行除以2取整

#在原始图像边缘进行填充，常数填充，填数值0，假设原始图像600*600，卷积核大小5*5，则填充后图像大小604*604

image = np.pad(image, ((h, h), (w, w), (0, 0)), 'constant')

#进行卷积运算

conv_b = _convolve(image[:, :, 0], kernel)

conv_g = _convolve(image[:, :, 1], kernel)

conv_r = _convolve(image[:, :, 2], kernel)

res = np.dstack([conv_b, conv_g, conv_r])

return res

def _convolve(image, kernel):

h_kernel, w_kernel = kernel.shape#获取卷积核的长宽，也就是行数和列数

h_image, w_image = image.shape#获取欲处理图片的长宽

#计算卷积核中心点开始运动的点，因为图片边缘不能为空

res_h = h_image - h_kernel + 1

res_w = w_image - w_kernel + 1

#生成一个0矩阵，用于保存处理后的图片

res = np.zeros((res_h, res_w), np.uint8)

for i in range(res_h):

for j in range(res_w):

#image处传入的是一个与卷积核一样大小矩阵，这个矩阵取自于欲处理图片的一部分

#这个矩阵与卷核进行运算，用i与j来进行卷积核滑动

res[i, j] = normal(image[i:i + h_kernel, j:j + w_kernel], kernel)

return res

def normal(image, kernel):

#np.multiply()函数：数组和矩阵对应位置相乘，输出与相乘数组/矩阵的大小一致(点对点相乘)

res = np.multiply(image, kernel).sum()

if res > 255:

return 255

elif res<0:

return 0

else:

return res

if __name__ == '__main__':

path = './img/doramon.jpeg' # 原图像路径

image = cv2.imread(path)

#kernel 是一个3x3的边缘特征提取器，可以提取各个方向上的边缘

#kernel2 是一个5x5的浮雕特征提取器。

kernel1 = np.array([

[1, 1, 1],

[1, -7.5, 1],

[1, 1, 1]

])

kernel2 = np.array([[-1, -1, -1, -1, 0],

[-1, -1, -1, 0, 1],

[-1, -1, 0, 1, 1],

[-1, 0, 1, 1, 1],

[0, 1, 1, 1, 1]])

res = conv(image, kernel1, 'fill')

plt.imshow(res)

plt.savefig('./out/filtered_picdoramon01.jpg', dpi=600)

plt.show()

3. 实验结果

边缘特征提取

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

浮雕特征提取器

在这里插入图片描述

在这里插入图片描述

4.代码解释 ：

1、image = cv2.imread(path)

imread是用来读取图片，结果一般是矩阵的形式

2、image = np.pad(image, ((h, h), (w, w), (0, 0)), 'constant')

image是指要填充的数组，((h, h), (w, w), (0, 0))是在各维度的各个方向上想要填补的长度,如((1，2)，(2，2))， 表示在第一个维度上水平方向上padding=1,垂直方向上padding=2,在第二个维度上水平方向上padding=2,垂直方向上padding=2。如果直接输入一个整数，则说明各个维度和各个方向所填补的长度都一样。constant指填补类型。举个栗子:

(1)对一维数组的填充

import numpy as np

array = np.array([1, 1, 1])

# (1,2)表示在一维数组array前面填充1位，最后面填充2位

# constant_values=(0,2) 表示前面填充0，后面填充2

ndarray=np.pad(array,(1,2),'constant', constant_values=(0,2))

print("array",array)

print("ndarray=",ndarray)

result:

array [1 1 1]

ndarray= [0 1 1 1 2 2]

(2)对二维数组的填充

import numpy as np

array = np.array([[1, 1],[2,2]])

"""

((1,1),(2,2))表示在二维数组array第一维(此处便是行)前面填充1行，最后面填充1行；

在二维数组array第二维(此处便是列)前面填充2列，最后面填充2列

constant_values=(0,3) 表示第一维填充0，第二维填充3

"""

ndarray=np.pad(array,((1,1),(2,2)),'constant', constant_values=(0,3))

print("array",array)

print("ndarray=",ndarray)

result:

array [[1 1]

[2 2]]

ndarray= [[0 0 0 0 3 3]

[0 0 1 1 3 3]

[0 0 2 2 3 3]

[0 0 3 3 3 3]]