【缺陷检测】基于matlab形态学液晶显示器表面缺陷检测【含Matlab源码 1304期】

一、形态学检测简介

1 图像分析及预处理
拍摄图像会产生随机的扰动，图像有一定的噪声，为消除掉图像中的无关信息，对图像进行预处理。

1.1 灰度化
为降低运算量，需要将拍摄的三通道的RGB图像转化为单通道的灰度图像。采用加权平均法的灰度化方法，其中心理学灰度公式根据人眼对RGB三色的敏感程度选择不同的权重：

式（1）中，R、G、B分别为RGB三通道灰度值，灰度化结果如图1 (a）所示。

1.2 平滑处理
为了尽可能避免将背景当作缺陷，需要对图像进行平滑处理，这样虽然会使缺陷的边界模糊，但是有利于减少背景的干扰。注意所采用的去噪处理为均值滤波，均值滤波公式为：

式（2）中，m、n分别为所选择的滤波核的长和宽，Sxy是以(x,y)为中心的滤波核对应像素的位置集合，平滑处理结果如图1 (b）所示。均值滤波的缺点是会使一些细节如边缘等信息丢失，因此在找到种子点后，对没有经过平滑处理的图像进行区域生长，找到缺陷边界。

2 算法原理
2.1 阈值分割
阈值分割是图像分割中最简单、基础的方法，性能比较稳定，计算量较小，运算速度快；它主要有全局阈值分割、局部阈值分割、自适应阈值分割等方法。阈值算法基于阈值T，将像素灰度值大于阈值T和小于阈值T的部分分别叫做前景和背景。变换函数表达式：

图1 均值滤波处理

式（3）中，T为阈值，g (x,y)为原图像像素点(x,y)的灰度值，f (x,y)为分割后图像像素点(x,y)的灰度值，阈值分割结果如图2所示。

图2 阈值分割结果

2.2 形态学开运算降噪
数学形态学简称形态学，其处理方式为领域运算，即把领域结构元素与图像对应位置像素进行逻辑运算，这种运算的影响因素主要有结构元素大小、形状和逻辑运算的规则。形态学操作主要有膨胀、腐蚀、梯度运算、礼帽运算、黑帽运算、开运算和闭运算等，但其基础为腐蚀和膨胀，利用膨胀和腐蚀就能完成不同形式的运算。

腐蚀运算能消除轮廓边界点，使边界向内缩小，主要用于细化二值图像目标轮廓、去除噪声等。

式（4）中，A为原图像，B为结构元素。首先给结构元素B定义一个原点，当结构元素B的原点移动到图像A的(x,y)上时，如果结构元素B上等于1的像素点对应图像A也等于1，则将图像A的(x,y)的灰度值置为1，否则置为0，腐蚀示意图如图3所示。

图3 腐蚀示意图
膨胀运算则与腐蚀运算相反，使边界向外扩张，主要用于填补图像分割后的空白，使相近的不相连的轮廓相连。其公式为：

式（5）中，A为原图像，B为结构元素。首先给结构元素B定义一个原点，当结构元素B的原点移动到图像A的(x,y)上时，如果结构元素B上等于1的像素点对应图像A中至少有一个等于1，则将图像A的(x,y)的灰度值置为1，否则置为0。

先进行腐蚀操作，然后在腐蚀的基础上进行膨胀操作，主要用于去噪和计数等。其公式为：

式（6）中，A为原图像，B、C为结构元素。开运算效果如图4所示，图5为开运算处理的结果。

图4 开运算效果
2.3 区域生长法
区域生长的思想就是把领域（四领域、八领域等）相同的化为一个区域。首先需要一个种子点作为生长的开始，然后将种子点领域内满足相似准则要求的像素点合并到种子的区域，将这个区域的像素做为种子点，继续进行生长，直到没有符合要求的点，生长结束，所有种子点像素作为生长的区域。分割的好坏由初始种子点和相似准则决定。

图5 形态学开运算结果
2.3.1 种子点选择与检测
经过阈值分割和形态学处理后，将二值图像各轮廓中心作为待定种子点。如果选择的种子点位于缺陷的绝对区域，那么种子点总有一个方向各像素的深度值呈现高-低-高的形态。设计检测模板如图6所示，计算出种子点在0°、45°、90°、135°方向上的深度变化，判断其变化是否呈高低高形态。

图6 检测模板
种子点左右两侧r个像素的灰度平均值分别为：

各方向的灰度变化为：

深度形Si态变化判定：

式（10）中，I (u)为检测模板中第u个像素的灰度值，w=1,2,3,4，分别代表0°，45°，90°，135°方向，mwm为w方向两侧的最小灰度值，T1为形态变化阈值。如果种子点不满足深度形态变化判定，则去除该待定种子点。

2.3.2 生长过程
区域生长的具体流程如下：
(1）将种子点坐标放入种子点集seeds。
(2）顶出种子点集中的一个种子点，对种子点八邻域的像素点进行相似准则判断；满足相似准则条件的点，视为种子点放入种子点集seeds。
(3）将顶出的种子点存入种子集S。
(4）如果种子点集内没有元素，则跳到步骤（4）；如果种子点集中还有元素，则跳到步骤（2）。
(5）生成一张和输入图像长宽一致，像素值全为0的图像I。
(6）将图像I中对应种子集S坐标的像素值置为255，得到分割图像I’。
其中生长的相似准则为：

式（11）中，gray (seed)为当轮种子点的灰度值，gray (8＿n)为其八邻域各点的像素值，Thresh为设置的阈值。区域生长结果如图7所示。

图7 区域生长结果
3 实验过程
图像分割就是按照预先设定的规则，将图像分割为有意义的前景和背景的过程。区域生长是一个分割效果比较好的算法，但前提是需要找到适合的种子点。单一的分割算法就容易遇到这种不足的情况，结合使用形态学和阈值分割的方法来找到合适的种子点，帮助区域生长算法完成分割任务，达到满足要求的分割效果，分割方法流程如图8所示。

图8 分割流程图
首先对输入的图片进行灰度化处理，变成单通道的灰度图片，然后滤波去除噪声，使图像更平滑，选择合适的阈值进行阈值分割，在利用开运算去除掉分割后较小的前景，以各前景区域的中心点为起始种子点，进行区域生长，得到最终所满足要求的前景。

二、部分源代码

%
clear all,close all;
I = imread('mixed1.jpg');
I = rgb2gray(I);
[M,N]=size(I);
figure(1);subplot(131),imshow(I);title('原灰度图像');
medfilt_I=midfilt(I,3);%进行模板为3×3的中值滤波
subplot(132),imshow(medfilt_I);title('中值滤波后图像');
P=adapthisteq(medfilt_I,'Numtiles',[4 4]);%对比度增强
P1=imadjust(P);%亮度调整
P2=midfilt(P1,3);%再次对处理后的图像进行中值滤波，平滑处理
subplot(133),imshow(P2);title('增强对比度和亮度后的图像');H=im2double(P2);%转换为double类型
g_gradient=SobelFilter(H); %求梯度值
figure(2),subplot(221);imshow(g_gradient);title('梯度值');
th=0.997;% 梯度阈值
g_T=zeros(M,N);%初始化零矩阵
g_T=uint8(g_T);%转换uint8数据类型
ind=find(g_gradient>th);%把梯度值大于阈值的像素点位置记录下来
g_T(ind)=256;%把这些点的灰度级设为256，最高灰度级
subplot(222);imshow(g_T);title({'根据梯度值提取出的目标轮廓';'（图片四周也有梯度较大的区域）'});
lap = uint8(zeros(M,N));%初始化一张同样大小的黑色图像
for i=2:M-1for j=2:N-1lap(i,j) = g_T(i,j);%将g_T除了图片四周，其他的值赋给lapend
end
subplot(223),imshow(lap);title('缺陷目标轮廓');
se90=strel('line',3,90);
se0=strel('line',3,0); %两个线型结构元素
BW2=imdilate(lap,[se90,se0]);%对目标轮廓lap进行膨胀
subplot(224);imshow(BW2);title('膨胀修复后的缺陷轮廓');
J = imfill(BW2,'holes');%对轮廓内进行填充
figure(3);subplot(121),imshow(I);title('原灰度图像');
subplot(122);imshow(J);title('提取得到缺陷二值图像')%得到了目标的二值图像[L,m]= bwlabel(J,8);%在J中找到8连通对象的标签，返回标签矩阵L和连通对象的数量m
status = regionprops(L,'all');%测量缺陷区域的各项区域特征属性
if (max(lap(:))) %只要能提取到边缘值不全为0，则说明有缺陷
point_defect_number=0; %对缺陷数量进行初始化
line_defect_number=0;
block_defect_number=0;
point_area_max=200; %规定点缺陷区域的最大面积为200
line_area_max=3000; %规定线缺陷区域的最大面积为3000for i=1:mif (status(i).Area <point_area_max) %判断是否满足点缺陷的条件point_defect_number =point_defect_number+1;rectangle('position' ,status(i).BoundingBox,'Curvature',[1,1],'edgecolor','r');else  %判断是否满足线缺陷的条件if(status(i).Area<line_area_max&&(status(i).MajorAxisLength/ status(i).MinorAxisLength > 20))line_defect_number =line_defect_number+1;rectangle('position' ,status(i).BoundingBox,'Curvature',[1,1],'edgecolor','g');else  %面缺陷block_defect_number=block_defect_number+1;rectangle('position' ,status(i).BoundingBox,'Curvature',[1,1],'edgecolor','b');endendendhold off;fprintf('检测结果:\n点缺陷数目 : %d\n',point_defect_number);fprintf('线缺陷数目 : %d\n',line_defect_number);fprintf('面缺陷数目 : %d\n',block_defect_number);elsefprintf('检测结果:\n没有缺陷\n');
end
%
function g=SobelFilter(f)
len=1;%填充的行数和列数为len=1
%对原始图像进行扩展，此处采用了镜像扩展，目的是解决边缘计算的问题
f_pad=padarray(f,[len,len]);%对图像四周进行1行1列的扩展，用0来填充
[M,N]=size(f_pad);
%sobel算子
Lx=[-1 -2 -1;  %x方向上的算子模板0 0 0;1 2 1];
Ly=[-1 0 1;%y方向上的模板-2 0 2;-1 0 1];

三、运行结果

四、matlab版本及参考文献

1 matlab版本
2014a

2 参考文献
[1] 蔡利梅.MATLAB图像处理——理论、算法与实例分析[M].清华大学出版社，2020.
[2]杨丹,赵海滨,龙哲.MATLAB图像处理实例详解[M].清华大学出版社，2013.
[3]周品.MATLAB图像处理与图形用户界面设计[M].清华大学出版社，2013.
[4]刘成龙.精通MATLAB图像处理[M].清华大学出版社，2015.