文章：Deep Learning-based Small Surface Defect Detection via an Exaggerated Local Variation-based Generative Adversarial Network

摘要

小缺陷的表面检测在制造业中起着至关重要的作用，并引起了业界广泛的关注。主要由于大表面的小缺陷和缺陷的罕见发生仍然具有挑战性。为了解决这个问题，我们提出了一种新颖的机器视觉方法，用于自动识别可能出现在单个图像中的微小缺陷。首先，本文提出的方法是通过将图像中的变化作为正则项来生成无缺陷图像和缺陷的相应版本。其次，提出了结合卷积神经网络（CNN）的对抗生成网络（GAN），通过缺陷图像样本来保证微小表面缺陷检测的准确性。此外，通过利用具有变化的图像的生成对抗网络技术，扩大了用于缺陷检测的训练样本的有限数据集。为了评估我们提出的方法的性能，我们与最新技术之间进行了比较实验。在不同类型的表面图像样本上的实验结果表明，该方法可以显着提高最新方法的性能，同时实现99.2％的缺陷检测精度。

研究内容

表面缺陷检测在家具制造，炼钢工业和家用电器生产在内的各个领域的工业信息学中都起着至关重要的作用。目标表面的缺陷不仅会损害相应物体的外观，还可能会影响质量管理，甚至会导致严重的生产安全问题。由于手动视觉检查既费时又费力，因此自动识别表面缺陷对于自动生产来说是非常有价值的工具。

由于其物理化学特性，材料的外观可能会出现各种异常情况。在以前的工作中，已经提出了许多用于识别不同类型表面缺陷的基于机器视觉的技术，这些技术可以大致分为两类：基于模板的方法和基于模型的方法和基于深度学习的方法来识别表面缺陷。

尽管已经有了许多基于机器视觉的表面缺陷检测方法，但由于一些原因，比如微小缺陷的不可感知性（如下图所示）和罕见的缺陷发生，表面异常识别仍然是一个尚未解决的问题，这使得基于模板和基于模型的机器视觉技术都不可行。一方面，表面缺陷识别的可行性很大程度上取决于适合于不同表面缺陷特征的模板或模型的构建。此外，难以获得合适的模型或模板，以将微小的异常与无缺陷的成分或图像中的噪声区分开。另一方面，由于图像样本不足，这进一步降低了实际模型或模板构建的可行性。

图. 不同表面图像中的微小缺陷（在红色圆圈和矩形的中心）钢板（上）木材（中）瓷砖（下）

考虑到上述分析，我们提出了一种以生成对抗网络（GAN）为中心的网络，通过表面上的微小缺陷来检测一般的表面缺陷，该过程是通过对颜色或形状的可重复性施加参数约束来实现检测缺陷。本文提出的方法（如下图所示）是一种两阶段的表面缺陷检查方法，在第一阶段，我们提出的方法可以自动识别重复结构和非参数异常。所提出的方法是基于定位局部异常并计算其与理想重复的偏差。与通常忽略微小变化的方法不同，本文提出的技术着重于揭示它们。具体地，所提出的方法包括两个连续过程。在第一个过程中，缺陷被转换为重复结构更相似的目标。在第二步中，缺陷和重复结构之间的细微差别在几何形状，颜色或纹理上被提高了一个特定程度，而这些细微差别很难在原始图像中识别出来。在所提议的网络的第二阶段中，从所提议的管线的第一阶段获得的放大图像样本被用作所提出的GAN中的鉴别器网络的部分输入。通过使用具有更突出缺陷的图像，提出的GAN生成了易于识别表面上原始琐碎斑点的样本。最后，所提出的GAN中的鉴别器网络用于精确检测小的表面缺陷。

图.用于小表面缺陷检测的网络

在这项工作中，将图像中的夸张效果建模为原始图像上各种变换的组合，也可以通过最大化图像中所有色块之间的相似度，将其转换为图像模板。所提出的算法中使用了两种类型的变换，包括形状和颜色。变换的选择由对变化类别的先前假设确定。注意，其他类型的转换也可以合并到建议的框架中。提出的方法的整个过程被表述为一个优化问题，其中输入图像和模板之间的差异被视为数据保真度，而变换被用作正则项。为了计算构造的目标函数的导数，我们引入了交替最小化策略。最终，获得了没有任何缺陷的理想图像和图像的放大版本。同时，鉴别器子网络不仅可以将产生的表面缺陷夸张图像与较小的表面缺陷样本区别对待，而且具有对抗性损失，而且可以通过感知损失来证明识别精度的合理性。

实验方法

在这项工作中，用于衡量比较方法性能的评估指标列出如下。

其中TP，FN，TN和FP表示真阳性（正确识别的血管像素），假阴性（错误识别的血管像素），真阴性（正确分类的非血管像素）和假阳性（错误识别的血管像素）。Sn和Sp分别表示正确识别的缺陷像素和非缺陷像素的精度。准确度（Acc）用于确定总体性能，ROC曲线下的面积（AUC）用于获得敏感性和特异性的平均值。

最先进的技术包括Canny +阈值，Otsu +直方图曲线，高斯滤波器，形态学算子，LBP和中值滤波器+形态学。表1显示了使用建议的方法结合最新技术在表面图像上获得的结果。

表1竞争方法的平均性能

具体而言，下图中分别示出了针对表面图像的最新技术的Sn，Sp，Acc和AUC的改进。根据实验结果，我们观察到将最新的表面检测技术与提出的缺陷夸大算法相结合，可以显着提高其性能。因此，该算法具有许多潜在的应用，特别是在各种表面缺陷检测任务中。

图.不同算法的灵敏度。

图.不同算法的的特异性

图.不同算法的准确性

图.不同算法的AUC值

结论

通过生成具有夸大缺陷的图像样本，本文所提出的以GAN为中心的网络既提高了数据驱动的表面缺陷检测方法的性能，又为小表面缺陷提供了准确的识别。实验结果表明，与最新技术相比，我们的算法显着提高了表面缺陷检测的性能，同时实现了更好的Sn，Sp和AUC。所提出的方法的性能也表明它是与表面缺陷检测相关的实际应用的潜在有价值的工具。

备注：作者也是我们「3D视觉从入门到精通」特邀嘉宾：一个超干货的3D视觉学习社区

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近3000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~