图像的实质是一种二维信号，滤波是信号处理中的一个重要概念。在图像处理中，滤波是一常见的技术，它们的原理非常简单，但是其思想却十分值得借鉴，滤波是很多图像算法的前置步骤或基础，掌握图像滤波对理解卷积神经网络也有一定帮助。

学习目标：了解图像滤波的分类和基本概念

理解几种图像滤波的原理

掌握OpenCV框架下滤波API的使用

算法理论介绍

滤波器分类

线性滤波：对邻域中的像素的计算为线性运算时，如利用窗口函数进行平滑加权求和的运算，或者某种卷积运算，都可以称为线性滤波。常见的线性滤波有：方框滤波、均值滤波、高斯滤波、拉普拉斯滤波等等，通常线性滤波器之间只是模版的系数不同。

非线性滤波：非线性滤波利用原始图像跟模版之间的一种逻辑关系得到结果，如最值滤波器，中值滤波器。比较常用的有中值滤波器和双边滤波器。

卷积核

数字图像是一个二维的数组，对数字图像做卷积操作其实就是利用卷积核在图像上滑动，将图像点上的像素值与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素点的像素值，并最终滑动完所有图像的过程。

通常，卷积核的宽度和高度一般是奇数，这样才有中心的像素点，所以卷积核一般都是3x3，5x5或者7x7等。$n×n$的卷积核的半径为$(n-1)/2$，例如5x5大小的卷积核的半径就是2。

两种常见噪声

函数介绍：python中的skimage图像处理模块，该函数可以方便的为图像添加各种类型的噪声。

skimage.util.random_noise(image, mode, seed=None, clip=True, **kwargs)参数：image 为输入图像数据，类型为ndarray，输入后将转换为float64格式。

mode  选择添加噪声的类别。字符串str类型。'gaussian' 高斯加性噪声

'poisson' 泊松分布的噪声

'salt' 盐噪声，随机用1替换像素。属于高灰度噪声。

'peppe' 胡椒噪声，随机用0或-1替换像素。属于低灰度噪声。

's&p' 椒盐噪声，盐噪声和胡椒噪声同时出现，呈现出黑白杂点。

'localvar' 高斯加性噪声，每点具有特定的局部方差。

'speckle' 使用 out = image + n *image 的乘法噪声，其中n是具有指定均值和方差的均匀噪声。

seed int类型。将在生成噪声之前设置随机种子，以进行有效的伪随机比较。

clip bool类型。若为True则在加入噪声后进行剪切以保证图像数据点都在[0,1]或[-1.1]之间。若为False，则数据可能超出这个范围。

1、椒盐噪声(脉冲噪声)

椒盐噪声也称为脉冲噪声，是图像中常常见到的一种噪声，它是一种随机出现的白点或者黑点，可能是亮的区域有黑色像素或是在暗的区域有白色像素(或是两者皆有)。产生具有椒盐噪声的图像：(python)

from skimage import utilimport cv2if __name__ == "__main__":img = cv2.imread("D:\\yt\\pictures2\\wink.jpg")#产生椒盐噪声，处理后图像变为float64格式noise_sp_img = util.random_noise(img, mode="s&p")#显示图像cv2.imshow("origin image",img)cv2.imshow("sp noise",noise_sp_img)#将图像转换为uint8格式，否则保存后是全黑的。noise_sp_img = cv2.normalize(noise_sp_img, None, 0, 255, cv2.NORM_MINMAX, cv2.CV_8U)#储存图像cv2.imwrite("D:\\yt\\pictures2\\sp_noise.jpg",noise_sp_img)cv2.waitKey(0)cv2.destroyAllWindows()

效果：左边为原图，右边加入了椒盐噪声

2、高斯噪声

高斯噪声是指它的概率密度函数服从高斯分布(即正态分布)的一类噪声。如果一个噪声，它的幅度分布服从高斯分布，而它的功率谱密度又是均匀分布的，则称它为高斯白噪声。

高斯白噪声的二阶矩不相关，一阶矩为常数，是指先后信号在时间上的相关性。高斯噪声是与光强没有关系的噪声，无论像素值是多少，噪声的平均水平(一般是0)不变。产生具有高斯噪声的图像：(python)

from skimage import utilimport cv2if __name__ == "__main__":img = cv2.imread("D:\\yt\\pictures2\\wink.jpg")#产生高斯噪声，处理后图像变为float64格式noise_gs_img = util.random_noise(img, mode="gaussian")#显示图像cv2.imshow("origin image",img)cv2.imshow("gaussian noise",noise_gs_img#将图像转换为uint8格式，否则保存后是全黑的。noise_gs_img = cv2.normalize(noise_gs_img, None, 0, 255, cv2.NORM_MINMAX, cv2.CV_8U)#储存图像cv2.imwrite("D:\\yt\\pictures2\\gs_noise.jpg",noise_gs_img)cv2.waitKey(0)cv2.destroyAllWindows()

效果：左边为原图，右边加入了高斯噪声

几种图像滤波

均值滤波、方框滤波

1、方框(盒子)滤波

方框滤波是一种非常有用的线性滤波，也叫盒子滤波。积分图：图像积分图中每个点的值是原图像中该点左上角的所有像素值之和。建立一个数组作为积分图像，其宽度和高度与原图像相等.，然后对这个数组赋值，每个点存储的是原图像中该点左上角的所有像素值之和。对一个灰度图而言，事先将其积分图构建好，当需要计算灰度图某个区域内所有像素点的像素值之和的时候，都可以通过查表的方法和有限次简单运算，迅速得到结果。优势：它可以使复杂度为O(MN)的求和，求方差等运算降低到O(1)或近似于O(1)的复杂度，也就是说与邻域尺寸无关了，有点类似积分图，但是比积分图更快(与它的实现方式有关)。

方框滤波采用下面的卷积核与图像进行卷积：

应用：

可以说，一切需要求某个邻域内像素之和的场合，都有方框滤波的用武之地，比如：均值滤波、引导滤波、计算Haar特征等等。方框滤波还可以用来计算每个像素邻域上的各种积分特性，方差、协方差，平方和等等。

2、均值滤波

均值滤波就是方框滤波归一化的特殊情况。使卷积核所有的元素之和等于1。卷积核如下：

α为卷积核中点的个数。

均值滤波是方框滤波的特殊情况，均值滤波方法是：对要处理的像素，选择一个模板，该模板由其邻域内的若干个像素组成，用模板的均值来替代原像素的值。可见，归一化了就是均值滤波；不归一化则是方框滤波。

均值滤波的缺点：

均值滤波本身存在着固有的缺陷，即它不能很好地保护图像细节，在图像去噪的同时也破坏了图像的细节部分，从而使图像变得模糊，不能很好地去除噪声点。特别是椒盐噪声。

利用均值滤波处理图像：

应用：

均值模糊可以模糊图像以便得到感兴趣物体的粗略描述，也就是说，去除图像中的不相关细节，其中“不相关”是指与滤波器模板尺寸相比较小的像素区域，从而对图像有一个整体的认知。即为了对感兴趣的物体得到一个大致的整体的描述而模糊一幅图像，忽略细小的细节。

高斯滤波

在进行均值滤波和方框滤波时。其邻域内每个像素的权重是相等的。在高斯滤波中，会将中心点的权重值加大，原理中心点的权重值减小，在此基础上计算邻域内各个像素值不同权重的和。在高斯滤波中，核的宽度和高度可以不相同，但是它们都必须是奇数。在实际应用中，卷积核都会经过归一化，归一化后可以表示为小数形式或分数形式。没有进行归一化的卷积核进行滤波，结果往往是错误的。高斯滤波和均值滤波一样，都是利用一个掩膜和图像进行卷积求解。不同之处在于：均值滤波器的模板系数都是相同的为1，而高斯滤波器的模板系数，则随着距离模板中心的增大而系数减小(服从二维高斯分布)。所以，高斯滤波器相比于均值滤波器对图像的模糊程度较小，更能够保持图像的整体细节。

高斯滤波卷积核：

先介绍一下二维高斯分布：

首先我们要确定卷积核的尺寸ksize，然后设定高斯分布的标准差。生成的过程，首先根据模板的大小，找到模板的中心位置。 然后遍历，将模板中每个坐标带入高斯分布的函数，计算每个位置的系数。具体过程如下：

不必纠结于系数，因为它只是一个常数，并不会影响互相之间的比例关系，并且最终都要进行归一化，所以在实际计算时我们忽略它而只计算后半部分。根据二维高斯分布公式，其中为卷积核内任一点的坐标，为卷积核中心点的坐标，通常为；σ是标准差。

例如：要产生一个3×3的高斯滤波器模板，以模板的中心位置为坐标原点。模板中各个位置的坐标，如下图所示。

这时，高斯分布的函数可以改为：然后，将各个位置的坐标带入到高斯函数中，得到的值就是模板的系数。通常模板有两种形式：小数形式和整数形式。小数形式：模板的每个系数除以所有系数的和。就得到了归一化后的模板，通常为小数形式。

整数形式：处理方式为，将小数模板左上角的值归一化为1，其他每个系数都除以左上角原来的系数，然后四舍五入取整。使用整数的模板时，需要在模板的前面加一个系数，系数为模板系数和的倒数。不难发现，高斯滤波器模板的生成最重要的参数就是高斯分布的标准差σ。标准差代表着数据的离散程度，如果σ较小，那么生成的模板的中心系数较大，而周围的系数较小，这样对图像的平滑效果就不是很明显；反之，σ较大，则生成的模板的各个系数相差就不是很大，比较类似均值模板，对图像的平滑效果比较明显。

一维高斯分布的概率分布密度图：图中，紫色的σ较小，青色的σ较大。

利用高斯滤波处理图像：

应用： 高斯滤波是一种线性平滑滤波器，对于服从正态分布的噪声有很好的抑制作用。在实际场景中，我们通常会假定图像包含的噪声为高斯白噪声，所以在许多实际应用的预处理部分，都会采用高斯滤波抑制噪声，如传统车牌识别等。

中值滤波

中值滤波不再采用加权求和的方式计算滤波结果，它用邻域内所有像素值的中间值来代替当前像素点的像素值。中值滤波会取当前像素点及其周围临近像素点的像素值，一般有奇数个像素点，将这些像素值排序，将排序后位于中间位置的像素值作为当前像素点的像素值。中值滤波对于斑点噪声(speckle noise)和椒盐噪声(salt-and-pepper  noise)来说尤其有用，因为它不依赖于邻域内那些与典型值差别很大的值，而且噪声成分很难被选上，所以可以在几乎不影响原有图像的情况下去除全部噪声。但是由于需要进行排序操作，中值滤波的计算量较大。中值滤波器在处理连续图像窗函数时与线性滤波器的工作方式类似，但滤波过程却不再是加权运算。

如下图：滤波核大小为3，邻域内的像素值排序后为[56,66,90,91,93,94,95,97,101]，中值为93，所以用93替换中心点原来的像素值56。

双边滤波

双边滤波是综合考虑空间信息和色彩信息的滤波方式，在滤波过程中能有效的保护图像内的边缘信息。双边滤波在计算某一个像素点的像素值时，同时考虑距离信息(距离越远，权重越小)和色彩信息(色彩差别越大，权重越小)。既能去除噪声，又能较好的保护边缘信息。

如下图：左边为原图，中间为均值滤波可能的结果，右边为双边滤波的结果

在双边滤波中，计算左侧白色区域的滤波结果时：对于白色的点，权重较大

对于黑色的点，与白色的色彩差别较大(0和255)，所以可以将他们的权重设置为0。

计算右侧黑色区域的滤波结果时：对于黑色的点，权重较大

对于白色的点，与黑色的色彩差别较大(255和0)，所以可以将他们的权重设置为0。

这样，左侧白色的滤波结果仍是白色，黑色的像素点权重为0，对它不会有影响；右侧黑色的滤波结果仍是黑色，白色的像素点权重为0，对它不会有影响。所以，双边滤波会将边缘信息保留。

边界处理

对于图像的边界点，不存在n×n的邻域区域，例如左上角第一行第一列的像素点，如果以其为中心取3×3的领域，则部分区域位于图像外部，图像外部是没有像素点和像素值的，所以无法计算像素和。在实际处理过程中需要对图像边界进行扩充，如下图。

扩充后的点需要填充像素值，常见的几种方式：BORDER_DEFAULT：以边界像素点为轴，填充对称的像素点处的像素值。也是OpenCV的默认方式。

BORDER_CONSTANT：使用常数填充，可以是0或其他常数。

BORDER_REPLICATE：复制最近的一行或一列像素并一直延伸至添加边缘的宽度或高度；

BORDER_REFLECT：以边界为轴，填充对称的像素点处的像素值。

BORDER_WRAP：将对面的像素进行映射。

为了更直观的体现填充情况，这里设卷积核为5×5的，填充情况如下：

基于OpenCV的实现

c++实现

1、方框滤波

void boxFilter( InputArray src, OutputArray dst,                 int ddepth,                Size ksize,                  Point anchor = Point(-1,-1),                bool normalize = true,                int borderType = BORDER_DEFAULT );

参数：src 输入图像

dst 输出图像，和输入图像有相同尺寸和类型

ddepth 输出图像的深度，-1代表使用原图深度

ksize 滤波核的大小，一般写成Size(w,h)，w表示宽度，h表示高度。Size(3,3)就表示3x3的核大小，Size(5,5)就表示5x5的核大小

anchor 表示锚点(即被平滑的那个点)，默认值为Point(-1,-1)，表示当前计算的点位于核中心的位置。如果这个点坐标是负值，就表示取核的中心为锚点。在特殊情况下可以指定不同的点作为锚点

normalize – 表示在滤波时是否进行归一化。

当normalize=1或true时，表示要进行归一化处理；计算的就是均值滤波。

当normalize=0或false时，表示不进行归一化处理。

borderType – 边界样式，决定了以何种方式处理边界，一般采用默认值即可。

关于是否归一化：

如果没有进行归一化处理，邻域内的像素值和基本都会超过像素的最大值255，最后得到的图像接近纯白色，部分点处有颜色。有颜色的点是因为这些点周围邻域的像素值均较小，相加后仍小于255。如下图：

2、均值滤波

void blur( InputArray src,           OutputArray dst,           Size ksize,           Point anchor = Point(-1,-1),           int borderType = BORDER_DEFAULT);

参数：src 输入图像

dst 输出图像，和输入图像有相同尺寸和类型

ddepth 输出图像的深度，-1代表使用原图深度

ksize 滤波核的大小，一般写成Size(w,h)，w表示宽度，h表示高度。Size(3,3)就表示3x3的核大小，Size(5,5)就表示5x5的核大小

anchor 表示锚点(即被平滑的那个点)，默认值为Point(-1,-1)，表示当前计算的点位于核中心的位置。如果这个点坐标是负值，就表示取核的中心为锚点。在特殊情况下可以指定不同的点作为锚点

borderType – 边界样式，决定了以何种方式处理边界，一般采用默认值即可。

3、高斯滤波

void GaussianBlur(InputArray src, OutputArray dst,                   Size ksize,                   double sigmaX, double sigmaY=0,                  int borderType=BORDER_DEFAULT )

参数：src 输入图像

dst 输出图像，和输入图像有相同尺寸和类型

ddepth 输出图像的深度，-1代表使用原图深度

ksize 滤波核的大小，一般写成Size(w,h)，w表示宽度，h表示高度。Size(3,3)就表示3x3的核大小，Size(5,5)就表示5x5的核大小

sigmaX 表示卷积核在X方向的的标准偏差。

sigmaY 表示卷积核在Y方向的的标准偏差。若sigmaY为零，就将它设为sigmaX，如果sigmaX和sigmaY都是0，那么就由ksize.width和ksize.height计算出来。

sigmaX=0.3×[(ksize.width-1)×0.5-1]+0.8

sigmaY=0.3×[(ksize.height-1)×0.5-1]+0.8

borderType – 边界样式，决定了以何种方式处理边界，一般采用默认值即可。

4、中值滤波

void medianBlur(InputArray src, OutputArray dst, int ksize);

参数：src 输入图像

dst 输出图像，和输入图像有相同尺寸和类型

ksize 滤波核的大小，注意这里是int形式的ksize，输入一个整数即可，3就表示3x3的核大小，5就表示5x5的核大小

5、双边滤波

void bilateralFilter(InputArray src, OutputArray dst,      int d,     double sigmaColor, double sigmaSpace,     int borderType=BORDER_DEFAULT )

参数：src 输入图像

dst 输出图像，和输入图像有相同尺寸和类型

d 滤波时选取的空间距离参数，这里表示以当前像素点为中心点的直径。如果d为非正数，自动从sigmaSpace计算得到。如果滤波空间较大，速度会较慢。实际应用中，推荐d=5。

sigmaColor 滤波时选取的颜色范围，该值决定了哪些像素点可以参与到滤波中。该值为0时，滤波失去意义；该值为255时，指定直径内的所有点都能参与运算。

sigmaSpace 表示滤波时选取的颜色范围。它的值越大，有越多的点能够参与到滤波计算中。当d>0时，无论sigmaSpace的值为多少，d都指定邻域大小。否则，d与sigmaSpace与成比例。

borderType – 边界样式，决定了以何种方式处理边界，一般采用默认值即可。

c++代码

1、方框滤波、均值滤波、高斯滤波

#include #include #include using namespace cv;using namespace std;int main(){//载入图像Mat img1 = imread("D:\\yt\\picture\\blur\\gs_noise5.jpg");Mat dst1,dst2,dst3,dst4;//方框滤波boxFilter(img1, dst1, -1, Size(5, 5), Point(-1, -1), true, BORDER_CONSTANT);//均值滤波blur(img1, dst2, Size(5, 5));//高斯滤波GaussianBlur(img3, dst4, Size(5, 5), 0.8);//显示图像imshow("方框滤波效果图", dst1);imshow("均值滤波效果图", dst2);imshow("高斯滤波效果图", dst3);//储存图像imwrite("D:\\yt\\picture\\blur\\boxFilter_jay.jpg", dst1);imwrite("D:\\yt\\picture\\blur\\blur_jay.jpg", dst2);imwrite("D:\\yt\\picture\\blur\\gs_blur_jay.jpg", dst3);waitKey(0);return 0;}

效果：可以看出，均值滤波与方框滤波归一化后的结果是一样的

2、中值滤波

#include #include #include using namespace cv;using namespace std;int main(){//载入图像Mat img1 = imread("D:\\yt\\picture\\blur\\sp_noise5.jpg");Mat dst1,dst2;//高斯滤波GaussianBlur(img1, dst1, Size(5, 5), 0.8);//中值滤波medianBlur(img1,dst2, 5);//显示图像imshow("高斯滤波效果图", dst1);imshow("中值滤波效果图", dst2);//储存图像imwrite("D:\\yt\\picture\\blur\\gs_blur_jay3.jpg", dst1);imwrite("D:\\yt\\picture\\blur\\medianblur_jay2.jpg", dst2);waitKey(0);return 0;}

效果：可以看出，中值滤波消除椒盐噪声的效果比高斯滤波好

3、双边滤波

#include using namespace cv;using namespace std;int main(){//载入图像Mat img1 = imread("D:\\yt\\picture\\blur\\the_eight_dimensions.jpg");Mat dst1,dst2;//高斯滤波GaussianBlur(img1, dst1, Size(5, 5), 0.8);//双边滤波bilateralFilter(img2,dst2,5,100,100);//显示图像imshow("高斯滤波效果图", dst1);imshow("双边滤波效果图", dst2);//储存图像imwrite("D:\\yt\\picture\\blur\\medianblur_jay2.jpg", dst1);imwrite("D:\\yt\\picture\\blur\\bilateralFilter_jay2.jpg", dst2);waitKey(0);return 0;}

效果：可以看出，双边滤波后的边缘保留的比高斯滤波好

python实现

1、方框滤波、均值滤波、高斯滤波

import cv2import numpy as npif __name__ == "__main__":    img = cv2.imread('D:/yt/picture/blur/gs_tiger.jpg', cv2.IMREAD_COLOR)    #方框滤波    dst1 = cv2.boxFilter(img, -1,(5,5),normalize=1)    #均值滤波    dst2 = cv2.blur(img,(5,5))    #高斯滤波    dst3 = cv2.GaussianBlur(img,(5,5),0,0)   # 显示图像    cv2.imshow("origin image", img)    cv2.imshow("boxFilter image", dst1)    cv2.imshow("blur image", dst2)    cv2.imshow("gsBlur image", dst3)    # 保存图像    cv2.imwrite("D:/yt/picture/blur/boxFilter_tiger.jpg", dst1)    cv2.imwrite("D:/yt/picture/blur/blur_tiger.jpg", dst2)    cv2.imwrite("D:/yt/picture/blur/gsBlur_tiger.jpg", dst3)    cv2.waitKey(0)    cv2.destroyAllWindows()

效果：

2、中值滤波

import cv2import numpy as npif __name__ == "__main__":img = cv2.imread('D:/yt/picture/blur/harbin.jpg', cv2.IMREAD_COLOR)#高斯滤波dst4 = cv2.GaussianBlur(img,(5,5),0,0)#中值滤波dst5 = cv2.medianBlur(img,5)# 显示图像cv2.imshow("origin image", img)cv2.imshow("gaussian",dst4)cv2.imshow("median",dst5)# 保存图像cv2.imwrite("D:/yt/picture/blur/gsBlur_img.jpg",dst4)cv2.imwrite("D:/yt/picture/blur/medianBlur_img.jpg",dst5)cv2.waitKey(0)cv2.destroyAllWindows()

效果：左边为原图，右边是中值滤波处理后

下图左边为原图，右边是高斯滤波处理后。可以看出高斯滤波对椒盐噪声的效果不如中值滤波。

3、双边滤波

import cv2import numpy as npif __name__ == "__main__":img = cv2.imread('D:/yt/picture/blur/white_black.jpg', cv2.IMREAD_COLOR)#高斯滤波dst4 = cv2.GaussianBlur(img,(25,25),0,0)#双边滤波dst6 = cv2.bilateralFilter(img,25,100,100)# 显示图像cv2.imshow("origin image", img)cv2.imshow("gaussian", dst4)cv2.imshow("bilateral",dst6)# 保存图像cv2.imwrite("D:/yt/picture/blur/gsblur_wb.jpg",dst4)cv2.imwrite("D:/yt/picture/blur/bilateral_wb.jpg",dst6)cv2.waitKey(0)cv2.destroyAllWindows()

效果：左边为原图，中间为中值滤波处理，右边为高斯滤波处理。可以看出，经过高斯滤波的边缘被模糊虚化了，经过双边滤波的边缘得到了较好的保留。