Automatic classification of defective photovoltaic module cells in electroluminescence images

电致发光图像中缺陷光伏组件电池的自动分类

//2022.7.2上午8:57开始阅读笔记

论文地址

[1807.02894v2] Automatic Classification of Defective Photovoltaic Module Cells in Electroluminescence Images (arxiv.org)

论文贡献

本文工作的贡献包括三个部分。首先，我们提出了一个资源高效的框架，用于使用手工制作的特征和支持向量机分类器对缺陷太阳能电池进行监督分类，支持向量机分类器可用于广泛的商品硬件，包括平板电脑和配备低功耗单板电脑的无人机。低计算要求使EL图像的现场评估成为可能，类似于低分辨率红外图像的分析（Dotenco等人，2016）。其次，我们提出了一个使用卷积神经网络的监督分类框架，该框架稍微更精确，但需要GPU进行有效的训练和分类。特别是，我们展示了如何将不确定性纳入这两个框架中，以提高分类精度。第三，我们向社区提供了一个注释数据集，该数据集由从高分辨率EL图像中提取的2624个对齐太阳能电池组成，我们使用该数据集对所提出的方法进行了广泛的评估和比较。

论文内容

1.介绍

太阳能组件通常由铝框架和玻璃层压保护，以免受雨、风和雪等环境影响。然而，这些保护措施并不总是能够防止光伏组件在安装过程中掉落、树枝掉落、冰雹或热应力的影响所造成的机械损坏。此外，制造错误（如焊接故障或导线缺陷）也可能导致光伏组件损坏。缺陷反过来会降低太阳能组件的功率效率。因此，有必要监测太阳能组件的状况，并更换或维修有缺陷的单元，以确保太阳能发电厂的最大效率。

即使对于训练有素的专家来说，视觉识别有缺陷的单元也特别困难。除了玻璃上的明显裂纹外，许多降低光伏组件效率的缺陷肉眼看不见。相反，可见的缺陷不一定会降低模块效率。

为了精确确定模块效率，必须直接测量模块的电输出。然而，此类测量需要与单个机组进行手动交互以进行诊断，因此它们不能很好地扩展到具有数千个光伏组件的大型太阳能发电厂。此外，此类测量仅捕捉到一个时间点，因此可能无法揭示某些类型的小裂纹，随着时间的推移，这将成为一个问题（Kajari Schröder等人，2012）。

红外（IR）成像是一种非破坏性、非接触式的替代方法，用于评估太阳能组件的质量。损坏的太阳能组件可以通过部分或完全与电路断开的太阳能电池轻松识别。因此，太阳能不再转化为电能，从而加热太阳能电池。然后，发射的红外辐射可以通过红外摄像机成像。然而，红外摄像机的分辨率相对较低，因此无法检测到尚未影响太阳能组件光电转换效率的微小缺陷，如微裂纹。

电致发光（EL）成像（Fuyuki等人，2005；Fuyuki和Kitiyanan，2009）是另一种成熟的光伏组件故障分析非破坏性技术，能够以更高的分辨率成像太阳能组件。在EL图像中，缺陷细胞看起来更暗，因为断开的部分不会辐射。为了获得电致发光图像，向光伏组件施加电流，从而在1150 nm的波长下诱导电致发光。发射可以通过硅电荷耦合器件（CCD）传感器成像。高空间图像分辨率能够检测微裂纹（Breitenstein等人，2011），EL成像也不会因横向热传播而变得模糊。然而，EL图像的视觉检查不仅耗时且昂贵，而且还需要经过培训的专家。在这项工作中，我们提出了一种自动分类EL图像中缺陷的方法，从而消除了这一约束。

一般来说，太阳能组件中的缺陷可分为两类（Fuyuki和Kitiyanan，2009）：（1）由于晶界和位错等材料特性而产生的固有缺陷，以及（2）工艺引起的外部缺陷，如微裂纹和断裂，随着时间的推移，这些缺陷会降低组件的整体效率。

图1显示了具有不同类型缺陷的示例EL图像。图1（a）和（b）显示了生产过程中的一般材料缺陷，例如指针中断，除非由焊点处的高应变引起，否则不一定会缩短受影响太阳能电池板的寿命（Köntges等人，2014）。具体而言，指针中断引起的效率下降是其大小、位置和中断次数之间的复杂交互作用（De Rose等人，2012；Köntges等人，2014）。图1（c）至（e）显示了微裂纹、电池互连的退化，以及具有众所周知会降低模块效率的电分离或退化部分的电池。特别是微裂纹的检测需要具有高空间分辨率的摄像机。

对于监测期间的缺陷检测，可以设定不同的目标。突出显示太阳能模块内缺陷的准确位置，可以高精度监测受影响的区域。然而，对于整个光伏组件的质量评估而言，太阳能电池内的准确缺陷位置并不重要。对于这项任务，指示细胞缺陷的总体可能性更为重要。这可以快速识别缺陷区域，并可能补充光伏组件内未来效率损失的预测。在这项工作中，我们提出了两个自动解决第二个任务的分类管道，即确定可能导致效率损失的每个单元缺陷的可能性。

本文研究的分类方法是支持向量机和神经网络分类器。

支持向量机（SVM）根据从太阳能电池EL图像中提取的各种特征进行训练。

卷积神经网络（CNN）直接输入太阳能电池的图像像素和相应的标签。

支持向量机方法在训练和推理过程中计算效率特别高。这允许在广泛的商品硬件上操作该方法，例如平板电脑或无人机，其使用取决于各自的应用场景。相反，CNN的预测精度通常更高，而训练和推理更耗费时间，通常需要GPU在可接受的较短时间内运行。然而，特别是对于航空图像，可能会出现其他问题，需要解决。Kang和Cha（2018）强调了在将我们的方法应用于制造环境之外之前需要解决的几个挑战。

1.1 贡献

本文工作的贡献包括三个部分。首先，我们提出了一个资源高效的框架，用于使用手工制作的特征和支持向量机分类器对缺陷太阳能电池进行监督分类，支持向量机分类器可用于广泛的商品硬件，包括平板电脑和配备低功耗单板电脑的无人机。低计算要求使EL图像的现场评估成为可能，类似于低分辨率红外图像的分析（Dotenco等人，2016）。其次，我们提出了一个使用卷积神经网络的监督分类框架，该框架稍微更精确，但需要GPU进行有效的训练和分类。特别是，我们展示了如何将不确定性纳入这两个框架中，以提高分类精度。第三，我们向社区提供了一个注释数据集，该数据集由从高分辨率EL图像中提取的2624个对齐太阳能电池组成，我们使用该数据集对所提出的方法进行了广泛的评估和比较。

图2显示了使用所提出的卷积神经网络对太阳能电池板的评估结果。EL图像中的每个太阳能电池都是由相应单元中缺陷的可能性覆盖。

1.2 概述

这项工作的其余部分组织如下。第2节回顾了相关工作。第3节介绍了两种拟议的分类方法。在第4节中，我们评估和比较了这些方法，并讨论了结果。这项工作在第5节中结束。

2.相关工作

通过EL成像对太阳能组件进行视觉检测是一个活跃的研究课题。然而，大多数相关工作的重点是检测特定的内在或外在缺陷，而不是预测最终会降低太阳能组件功率效率的缺陷。太阳能电池EL图像中表面异常的检测与结构健康监测有关。然而，需要注意的是，太阳能电池中的某些缺陷仅特定于光伏组件的EL成像。例如，完全断开连接的太阳能电池仅显示为暗图像区域（类似于图1（d）），因此在结构缺陷方面没有可比的等效物。此外，太阳能晶片中的表面不规则性（例如手指中断）很容易与电池裂纹混淆，即使它们不会显著影响功率损耗。

在对太阳能组件进行目视检查的背景下，Tsai等人（2012）使用傅立叶图像重建来检测多晶光伏组件EL图像中的缺陷太阳能电池。目标外部缺陷是（小）裂纹、断裂和手指中断。傅立叶图像重建通过将与线和条形伪影相关的高频系数设置为零来消除可能的缺陷。然后将光谱表示转换回空间域。然后可以将缺陷识别为原始图像和高通滤波图像之间的强度差。由于形状假设，该方法难以检测形状更复杂的缺陷。

Tsai等人（2013）还介绍了一种监督学习方法，用于使用独立分量分析（ICA）基础图像识别缺陷。利用独立分量分析（ICA），利用无缺陷太阳能电池子图像来寻找一组独立的基图像。该方法在300个太阳能电池子图像的相对较小的训练数据集上实现了93.40%的高精度。然而，手指中断等材料缺陷与电池裂纹同等对待。因此，该策略仅适用于检测太阳能电池表面的每个异常，而不适用于预测未来的能量损失。

Anwar和Abdullah（2014）开发了一种多晶太阳能电池微裂纹检测算法。他们使用各向异性扩散滤波，然后进行形状分析，以定位太阳能电池中的缺陷。虽然该方法在检测微裂纹方面表现良好，但它不考虑其他缺陷类型，例如在EL图像中显示为完全黑暗的完全断开的细胞。

Tseng等人（2015）提出了一种自动检测单晶太阳能电池中手指中断的方法。该方法采用候选区域特征的二进制聚类来检测缺陷。然而，手指中断不一定能为预测未来功率损耗提供合适的线索。

深度学习的成功导致了用于光学检测的传统模式识别管道的逐渐替代。然而，据我们所知，尚未提出用于EL图像的CNN架构，但仅适用于其他模式或应用。最密切相关的是Mehta等人（2018年）的工作，他们提出了一种从太阳能组件的RGB图像预测功率损失、定位和污垢类型的系统。他们的方法不需要手动定位标签，而是在图像上操作，并将相应的功率损耗作为输入。Masci等人（2012）提出了一种端到端maxpooling CNN，用于对钢缺陷进行分类。将其网络性能与使用支持向量机训练的多个手工制作的特征描述符进行比较。尽管他们的数据集仅包含2281个训练图像和646个测试图像，但CNN架构对钢缺陷的分类精度至少是支持向量机的两倍。张等人（2016）提出了一种用于检测道路裂缝的CNN架构。为了训练CNN，使用了大约45000个手动标记的图像块。他们表明，CNN的性能大大优于手工制作的特征然后通过支持向量机和boosting的组合进行分类。. Cha等人（2017年）在各种环境和照明条件下拍摄的大范围图像中，使用非常类似的方法检测混凝土裂缝。Kang和Cha（2018）利用深度学习对航空图像进行结构健康监测。Cha等人（2018年）还研究了基于快速R-CNN框架的基于现代学习的分割方法的缺陷定位，该框架可以实时执行。Lee等人（2019）也使用语义分割来检测混凝土中的裂缝。

在医学方面，Esteva等人（2017）利用深度神经网络对不同类型的皮肤癌进行分类。他们在一个由129450张临床图像和2032种不同疾病组成的大数据集上对CNN进行了端到端的训练，使其能够实现高度的准确性。

3.方法

我们将每个模块细分为其太阳能电池，并单独分析每个电池，最终推断缺陷的可能性。这将分析分解为最小有意义的单元，即光伏组件的机械设计将电池单元串联在一起。此外，分解大大增加了用于训练的可用数据样本的数量。对于太阳能电池的分割，我们使用了最近开发的方法（Deitsch等人，2018），该方法使每个电池都处于正常状态，没有透视和透镜畸变。

除非另有说明，否则所提出的方法适用于分辨率为×300像素的太阳能电池的大规模EL图像。该图像分辨率源自光伏组件原始EL图像中对应于单个太阳能电池的图像区域的中值尺寸。太阳能电池图像直接用作管道输入。野外太阳能电池的图像分辨率通常会偏离所需的分辨率，因此必须进行相应调整。CNN架构设置了最小图像分辨率，该分辨率通常等于CNN的接收场（例如，原始VGG-19架构使用×224 224）。如果分辨率低于此最小分辨率，则必须放大图像。为了获得更高的分辨率，可以以跨窗口方式应用网络，然后将输出汇集在一起（通常使用平均或最大汇集）。我们采用了另一种方法，在这种方法中，CNN架构内在地编码了这个过程。对于支持向量机管道，分辨率要求不那么严格。鉴于局部特征具有尺度不变性，分类太阳能电池的图像分辨率不需要调整，并且可能因图像而异。

3.1. 使用支持向量机进行分类

使用支持向量机进行分类的一般方法（Cortes和Vapnik，1995）如下。首先，从分割光伏电池的图像中提取局部描述符。特征通常在显著点（也称为关键点）或密集像素网格中提取。对于训练分类器和后续预测，需要从局部描述符集计算全局表示，通常称为编码。最后，将太阳能电池的全局描述符分为缺陷描述符和功能描述符。图3显示了分类管道，包括掩蔽、关键点检测、特征描述、编码和分类。我们在以下小节中描述这些步骤。

3.1.1. 掩蔽

我们假设太阳能电池是从光伏组件中分割出来的，例如，使用我们在早期工作中提出的自动算法（Deitsch等人，2018）。然后，二进制掩码允许将每个单元格的前景与背景分离。单元背景包括通常不属于硅片的图像区域，例如母线和单元间边界。该掩码可用于严格限制特征提取到单元内部。在评估中，我们研究了掩蔽的有用性，并发现其影响很小，即在少数特征/分类器组合中仅略微提高了性能。

3.1.2. 特征提取

为了训练支持向量机，首先提取特征描述符。这些局部特征的位置是使用两种主要的采样策略确定的：（1）关键点检测和（2）密集采样。这些策略如图4所示。这两种策略都产生了不同的功能集，比其他策略更适合特定类型的太阳能晶片。密集采样忽略图像内容，而是使用固定的特征点配置。另一方面，关键点检测器依赖于图像中的纹理，因此关键点的数量与高频元素的数量成比例，例如边缘和角落（如图4（c）和（d）所示）。关键点检测器通常在尺度空间中工作，允许在不同的尺度水平和不同的方向上进行特征检测。图4（d）显示了KAZE检测到的关键点。在这里，每个关键点都有不同的比例（由相应圆的半径显示），也有特定的方向，例如从中心到圆边界绘制的线。捕捉比例和旋转的关键点对图像分辨率和平面内旋转的变化是不变的，这使得它们非常稳健。

密集采样通过将其与由×n个电池组成的网格叠加来细分×300像素的光伏电池。每个网格单元的中心指定了随后提取特征描述符的位置。特征位置的数量仅取决于网格大小。如果计算资源非常有限，或者目的是仅识别单晶光伏组件中的缺陷，则密集采样非常有用。

我们采用了文献中不同流行的关键点检测器和特征提取器的组合，如表1所列，并概述如下。

有几种算法结合了关键点检测和特征描述。这些方法中最流行的可能是尺度不变的特征变换（SIFT）（Lowe，1999），它在多个尺度上检测和描述特征。SIFT对旋转、平移和缩放不变性，并对不同的照明条件具有部分弹性。加速鲁棒特征（SURF）（Bay等人，2008）是SIFT的一种更快变体，还包括一个关键点检测器和一个局部特征描述符。然而，SURF的检测器部分对仿射变换不是不变的。在初始实验中，我们无法成功使用SIFT和SURF的关键点检测器，因为关键点检测器有时无法检测相对均匀的单晶细胞图像中的特征，因此我们仅使用描述符部分.

KAZE（Alcantarilla等人，2012）是一种多尺度特征检测器和描述符。关键点检测算法与SIFT非常相似，只是SIFT使用的线性高斯尺度空间被非线性扩散滤波所取代。然而，对于特征描述，KAZE使用SURF描述符。

我们还研究了自适应和通用加速段测试（AGAST）（Mair等人，2010）作为一种没有描述符的专用关键点检测器。它基于在一组角点特征上训练的随机森林分类器，这些特征被称为来自加速分段测试（FAST）的特征（Rosten和Drummond，20052006）。

在专用描述符中，视觉文字金字塔直方图（PHOW）（Bosch等人，2007）是SIFT的扩展，它在均匀分布的网格上密集计算SIFT描述符。我们使用VLFEAT的实现变体（Vedaldi和Fulkerson，2008）。类似地，定向梯度直方图（HOG）（Dalal和Triggs，2005）是在一组均匀的图像块上密集计算的基于梯度的特征描述符。最后，我们还使用了视觉几何组（VGG）描述符，使用有效的优化方法进行端到端训练（Simonyan等人，2014）。在我们的实现中，我们使用了120维实值描述符变量。

我们从这个选择中省略了二进制描述符。尽管二进制特征描述符通常计算速度非常快，但它们的性能通常并不优于实值描述符（Heinly等人，2012）。

3.1.3 探测器和提取器的组合

为了确定最强大的特征检测器\提取器组合，我们评估了所有特征检测器和特征提取器组合，只有少数例外。

在大多数情况下，我们既没有调整关键点检测器的参数，也没有调整特征提取器的参数，而是使用OPENCV（ITSEZ，2017）自3.3.1版起的默认值。一个值得注意的例外是AGAST，我们将检测阈值降低到5，以便能够检测单晶光伏组件中的关键点。对于SIFT和SURF，类似的调整并不成功，这就是为什么我们只使用它们的描述符。HOG需要重叠图像区域的网格，这与关键点检测器不兼容。相反，我们将300×300像素的细胞图像降采样到256 X 256像素（最接近2的幂）进行特征提取。由于实现特定的限制，省略了HOG的屏蔽。考虑到这些例外情况，我们总体评估了12种特征组合。

3.1.4 编码

计算出的特征被编码到全局特征描述符中。编码的目的是从多个局部描述符中形成单个固定长度的全局描述符。编码通常表示为从背景模型中提取统计信息的直方图。为此，我们采用了局部聚集描述符向量（VLAD）（Jégou等人，2012），这提供了一种紧凑的最先进的表示方法（Peng等人，2015）。VLAD编码有时也用于分类、识别和检索任务中基于深度学习的特征（Gong等人，2014；Ng等人，2015；Paulin等人，2016；Christlein等人，2017）。

VLAD字典是通过对训练集中的随机特征描述符子集进行k均值聚类而创建的。出于性能原因，我们使用k-means的快速小批量变体（Sculley，2010）。簇质心µk对应于字典的定位点。然后，将一阶统计量聚合为从太阳能电池图像中提取的所有描述符

的残差之和。残差是根据字典中最近的锚点µk计算的 为

其中：

是集群成员身份的指示函数，即为：

这表明x是否是µk的最近邻。最终VLAD表示

对应于将所有剩余项（1）串联到Kd维向量中：

为了使VLAD描述符具有鲁棒性，需要几个归一化步骤。功率归一化解决了某些局部描述符比其他描述符更频繁出现的问题。这里，全局描述符

的每个元素被归一化为：

其中，我们从文献中选择

作为典型值。幂归一化后，向量被归一化，使其 -范数等于1。

类似地，如果至少两个描述符经常出现在一起，则可能会出现共现次数过多的情况。Jégou和Ondřej（2012）表明，主成分分析（PCA）白化有效地消除了此类共现，并进一步消除了数据的相关性。

为了增强码本D对概率k均值聚类的潜在次优解的鲁棒性，我们使用不同的随机种子从不同的训练子集计算了五个VLAD表示。然后，通过PCA（Kessy等人，2016），对VLAD编码的串联

进行联合去相关和白化。变换后的表示再次归一化，使其 -范数等于1，结果最终传递给支持向量机分类器。

3.1.5. 支持向量机训练

我们用线性和径向基函数核训练支持向量机。对于线性核，我们使用LIBLINEAR（Fan等人，2008），它针对线性分类任务和大型数据集进行了优化。对于非线性RBF核，我们使用LIBSVM（Chang和Lin，2011）。

支持向量机超参数是通过使用网格搜索在训练集的内部五倍交叉验证中评估平均F1分数（van Rijsbergen，1979）来确定的。对于线性支持向量机，我们对平方铰链损失采用2惩罚。惩罚参数C是从一组10的幂中选择的，即

。对于RBF支持向量机，惩罚参数C由一个稍小的集合确定 。核系数 的搜索空间被约束为 ，其中S表示训练样本数。

3.2 使用深度卷积神经网络的回归

我们考虑了几种培训CNN的策略。鉴于我们掌握的数据量有限，通过迁移学习取得了最佳结果。我们使用了VGG-19网络架构（Simonyan和Zisserman，2015），最初使用128万张图像和1000个类在IMAGENET数据集（Deng等人，2009）上训练。然后，我们使用我们的数据集优化了网络。

我们用全局平均池（GAP）替换VGG-19的两个完全连接层（Lin等人，2013），并分别用4096和2048个神经元替换两个完全连接层（见图5）。间隙层用于使VGG-19网络输入张量（×224 224 3）与我们的太阳能电池图像样本的分辨率（×300 3）兼容，以避免样本的额外下采样。输出层由单个神经元组成，输出细胞的缺陷概率。通过最小化均方误差（MSE）损失函数对CNN进行优化。因此，我们本质上训练了深度回归网络，该网络允许我们仅使用两种缺陷可能性类别（功能性和缺陷性）来预测（连续）缺陷概率。通过将预测的连续概率四舍五入到四个原始类的最近邻，我们可以直接将CNN决策与原始地面真值标签进行比较，而无需对其进行二值化。

数据增强用于生成额外的、轻微扰动的训练样本。然而，增强可变性保持适度，因为分割的细胞沿平移轴仅变化几个像素，沿旋转轴仅变化几个度。训练样本最多按原始分辨率的2%缩放。旋转范围限制为±°3。平移限制为单元格尺寸的±2%。我们还使用沿垂直和水平轴的随机翻转。由于母线可以垂直和水平布置，我们还包括精确旋转90°的训练样本。旋转样本以与上述相同的方式增加。

我们在数据上微调预训练的IMAGENET模型，以使CNN适应新任务，类似于Girshick等人（2014）。然而，我们是按照两个阶段做的。首先，我们只训练具有随机初始化权重的完全连接层，同时保持卷积块的权重固定。在这里，我们使用ADAM优化器（Kingma和Ba，2014），学习率为10^-3，指数衰减率=0.91和=0.9992，正则化值=10^-8。在第二步中，我们细化所有层的权重。在这个阶段，我们使用随机梯度下降（SGD）优化器，学习率为5·104，动量为0.9。我们观察到，与单个细化步骤相比，通过随后增加超参数的数量在几个阶段微调CNN略微提高了结果模型的泛化能力。

在这两个阶段中，我们在两个NVIDIA GeForce GTX 1080上以16个样本的小批量处理1968个训练样本的增强版本，并运行最多100个epoch的训练过程。这总计为196800个原始1968训练样本的增强变体，用于优化网络。为了实现深度回归网络，我们在后端使用KERAS版本2.0（Chollet等人，2015）和TENSORFLOW版本1.4（Abadi等人，2015）。

4.评价

对于定量评估，我们首先评估在网格上密集提取的不同特征描述符。然后，我们将最佳配置与在自动检测的关键点提取的特征描述符进行比较，以确定支持向量机分类管道的最佳性能变化。最后，我们将后者与提出的深度CNN进行比较，并可视化CNN的内部特征映射。

4.1 数据集

我们提出了一个从单晶和多晶光伏组件的高分辨率EL图像中提取的太阳能电池公共数据集1（Buerhop-Lutz等人，2018）。该数据集由2624个太阳能电池图像组成，分辨率为×300像素，最初从44个不同的光伏组件中提取，其中18个组件为单晶类型，26个为多晶类型。

用于提取单个太阳能电池样品的光伏组件的图像是在制造环境中拍摄的。这种受控条件能够在一定程度上控制成像面板的质量，并允许最小化对图像质量的负面影响，例如过度曝光。由于背景辐射可以主导EL辐射，因此还需要控制条件。鉴于光伏组件在暗室中进行采集时只发出光，因此可以确保图像均匀照明。这与一般结构健康监测中的图像采集相反，后者引入了额外的自由度，图像可能会受到阴影或聚光灯的影响（Cha等人，2017年）。然而，电致发光成像中的一个重要问题是，由于透镜聚焦不当，电致发光图像模糊（即失焦），有时难以实现。因此，我们确保在提议的数据集中包含此类图像（例如，参见图1）。A

太阳能电池表现出常见于单晶和多晶太阳能组件中的固有和外在缺陷。特别是，数据集包括微裂纹和具有电分离和劣化零件的电池、短路电池、开路互连和焊接故障。众所周知，这些电池缺陷会对太阳能电池组件的效率、可靠性和耐久性产生负面影响。由于此类缺陷引起的功率损失通常可以忽略不计，因此不包括手指中断。

功率衰减测量无法提供ground-truth。相反，提取的细胞以随机顺序呈现给熟悉EL图像中不同缺陷的复杂细节的公认专家。Köntges等人（2014）总结了此类故障的标准。在故障分类中，专家特别关注已知功率损失超过初始功率输出3%的缺陷。专家回答了问题（2）细胞功能是否正常或有缺陷？（2） 你对自己的评估有信心吗？由自信的评分员对功能和缺陷细胞的评估直接用作标签。功能性和缺陷细胞的非自信评估均标记为缺陷。为了反映评分员的不确定性，将较低的权重分配给这些评估，即功能细胞的非自信评估权重为33%，缺陷细胞的非自信评估权重为67%。表2总结了这一点，左侧是评分员评估，右侧是相关的分类标签和权重。表3显示了ground-truth太阳能电池标签的分布，按源光伏组件的类型分隔。

我们使用25%的标记细胞（656个细胞）进行测试，其余75%（1968个细胞）进行训练。分层抽样用于随机分割样本，同时保留样本在训练集和测试集中不同类别内的分布。为了进一步平衡训练集，我们使用来自King和Zeng（2001）的反比启发式加权类：

其中S是训练样本的总数，nj是功能（=j 0）或缺陷（=j 1）样本的数量。

4.2 密集采样

在本实验中，我们评估了用于细分单个×300像素细胞图像的不同网格大小。每个单元的网格点数量在5×5到75 ×75点之间变化。在每个网格点，计算SIFT、SURF和VGG描述符。剩下的两个描述符PHOW和HOG在本实验中被省略，因为它们不允许任意指定描述符计算的位置。注意，在75×75的点网格上，两个网格点之间的距离只有4个像素，这导致相邻描述符之间存在显著重叠。因此，进一步提高网格分辨率并不能显著改善分类结果。

本实验的目标是找到网格大小和分类器的最佳组合。我们训练了线性支持向量机和带有径向基核的支持向量机。对于每个分类器，我们还研究了两个附加选项，即添加样本权重w（参见表2）或掩盖背景区域（参见第3.1.1节）是否可以改进分类器。

使用F1分数衡量性能，F1分数是精度和召回率的调和平均值。图6显示了每个类别F1分数的平均F1分数。从左到右，这些分数显示为SURF描述符（图6（a））、SIFT描述符（图6（b））和VGG描述符（图6（c））。这里，VGG描述符使用带加权和掩蔽的线性支持向量机在大小为×65 65的网格上获得最高分数。SIFT是第二个性能最好的描述符，在使用带权重的线性支持向量机的×60 60网格上具有最佳性能，但没有掩蔽。SURF得分最低，使用带权重的RBF支持向量机在×70-70网格处出现峰值，但没有掩蔽。结果表明，网格点越多，结果越好。SURF的分类精度增长缓慢，饱和率约为70%。SIFT和VGG从更密集的网格中受益更多。在大多数情况下，权重w的使用会导致更高的分数，因为分类器可以更强地依赖于专家贴标员更自信的样本。掩蔽还提高了VGG特征的F1分数。然而，与配置的整体性能变化相比，几乎2%的改善幅度很小。可以说，鉴于特征点的高密度和特征提取器评估的图像区域之间的重叠程度，细胞结构对于区分不同类型的细胞缺陷并不重要。

4.3. 密集采样与关键点检测

本实验旨在比较基于密集网格的特征与基于关键点的特征的分类性能。为此，将先前实验中每个描述符的最佳性能基于网格的分类器与关键点检测器和特征描述符的组合进行比较。

图7显示了评估的单晶电池、多晶电池以及两者的检测器和提取器组合。大多数检测器/提取器组合由正斜杠（检测器/描述符）指定。没有正斜杠的条目，即KAZE、HOG和PHOW，表示已经包括检测器和描述符的特征。在稠密网格上表现最好的三种方法分别表示为稠密SIFT×60、稠密SURF×70和稠密VGG×65。除非另有规定，否则使用样本加权、无掩蔽和线性支持向量机对特征进行训练。

使用ROC曲线显示了性能，该曲线表明了二进制分类器在各种误报率下的性能（Fawcett，2006）。此外，曲线图显示了前4个特征的AUC分数，最高AUC以粗体强调。在这三种情况下，KAZE \/VGG优于其他特征组合，所有模块的AUC为88.51%，其次是KAZE \/SIFT，AUC为87.22%。作为例外，就AUC而言，多晶太阳能电池的第二个最佳特征组合是PHOW。灰色虚线表示随机分类器的基线。总的来说，使用关键点比密集采样具有更好的性能。

4.4. 支持向量机与使用深度回归网络的迁移学习

图8与CNN分类器相比，显示了最强支持向量机变体KAZE \/VGG的性能。图8（a）左侧的ROC曲线包含单晶光伏组件的结果。图8（b）提供了多晶光伏组件的分类性能。最后，两种模型的总体分类性能如右图8（c）所示。

值得注意的是，支持向量机和神经网络对于单晶光伏组件的分类性能非常相似。CNN的平均性能仅略优于SVM。当假阳性率低于1%左右时，CNN获得了更高的真阳性率。然而，在大约1%到10%的误报率范围内，支持向量机表现更好。这表明KAZE \/VGG能够捕捉均匀表面上的异常几乎与直接在图像像素上训练的CNN一样精确。

对于多晶光伏组件，在AUC方面，CNN能够比SVM更准确地预测缺陷太阳能电池几乎11%。由于太阳能电池中的纹理种类繁多，这显然也是一个更为困难的测试。

总的来说，CNN优于SVM。然而，两种分类器的性能总的差异仅为6%左右。因此，支持向量机分类器也可用于在无法使用CNN络专用硬件的情况下快速、现场评估光伏组件。

4.5. 每个缺陷类别的模型性能

在这里，我们根据混淆矩阵详细报告了拟议模型在单个太阳能电池类别（即缺陷和功能）方面的性能。二维混淆矩阵存储正确识别的单元格比例（真假性和真阳性）在其主对角线上的每个类别中。二次对角线提供了相对于其他类别错误识别的太阳能电池（假阴性和假阳性）的比例。

图9显示了拟议模型的混淆矩阵。给出了每种太阳能晶片及其组合的混淆矩阵。混淆矩阵的纵轴指定预期（即地面真实）标签，而水平轴指定相应模型预测的标签。在这里，CNN的预测阈值为50%，以生产两类功能（0%）和缺陷（100%）太阳能电池。

关于单晶光伏组件，图9（a）和（d）中的混淆矩阵强调了这两个模型提供了可比较的分类结果。然而，与CNN相比，线性支持向量机能够正确识别更多的缺陷细胞，但代价是功能细胞被识别为缺陷（假阴性）。为此，线性支持向量机在将缺陷太阳能电池识别为完整（误报）时也会产生较小的错误。

在图9（b）和（e）给出的多晶情况下，CNN在每一类中都明显优于线性支持向量机。这也导致CNN在这两种情况下的整体性能更好，如图9（c）和（f）所示。

图9注释：提出的分类模型的混淆矩阵。每行混淆矩阵存储了预期缺陷可能性类别中实例的相对频率。另一方面，这些列包含分类模型所做预测实例的相对频率。理想情况下，只有混淆矩阵的对角线将包含非零项，这对应于基本真值和分类模型之间在所有类别中的完美一致。CNN通常比基于KAZE/VGG特征训练的支持向量机产生更少的预测误差。

4.6. 训练数据集大小对模型性能的影响

为了训练线性支持向量机和CNN，使用了一个相对较小的独特太阳能电池图像数据集。考虑到典型的光伏组件生产线每天的产量为1500个组件，包含约90000个太阳能电池，预计模型将会大大收益于额外的训练数据。为了检验如果使用更多的训练样本，所提出的模型如何改进，我们评估了它们在原始训练样本子集上的性能，因为没有额外的训练样本可用。

为了推断性能趋势，我们在原始训练样本的三个不同大小的子集上评估了模型。我们使用了25%、50%和75%的原始训练样本。为了避免获得的指标中存在偏差，我们不仅对子集进行随机采样，而且对每个子集进行50次采样，以获得用于训练模型的样本。此外，我们还使用分层抽样来保留原始训练样本集中标签的分布。为了评估性能，我们使用原始测试样本，并提供三个指标的结果：F1分数、ROC AUC和准确性。

图10显示了用于训练拟议模型的三个不同大小的训练样本子集的所有样本上的评估分数分布。三个子集中每一个子集所有50分的分布总结在箱线图中。结果清楚地表明拟议模型的性能相对于视觉任务中通常观察到的训练样本数量大致呈对数增长（Sun等人，2017）。

4.7. CNN特征空间分析

在这里，我们使用t-分布随机邻域嵌入（t-SNE）分析CNN学习的特征（van der Maaten和Hinton，2008），这是一种用于降维的流形学习技术。目的是检验不同太阳能电池组的分离标准。为此，我们使用t-SNE的巴恩斯小屋变体（van der Maaten，2014），其速度大大快于标准实现。为了计算嵌入，我们将tSNE的困惑参数固定为35。由于我们的测试数据集较小，我们避免了在预处理步骤中使用PCA对特征进行初始降维，而是使用嵌入的随机初始化。

所有656个测试图像的结果表示如图11所示。每个点对应于从2048维CNN最后一层投影到二维的特征向量。从单晶和多晶模块中提取的投影特征向量分别用红色和蓝色编码。缺陷概率由饱和编码。二维表示保留了高维特征空间的结构，并表明在大多数情况下，相似的缺陷概率在特征空间中是共存的。这使得CNN分类器能够区分缺陷太阳能电池和功能太阳能电池的EL图像。

一个重要的观察结果是，这类绝对有缺陷（100%）的电池形成了一个单一的细长簇（左下角），其中包括电池，而与源光伏组件类型无关。与此相反，功能性细胞（0%）被分成不同的簇其中，这取决于源光伏组件的类型。电池的整体外观（即焊接接头的数量、纹理等）在单晶簇（右侧）中还会产生几个分支。这些分支包括按单元内母线焊接接头数量分组的样本。这里，由于硅片的均匀（即无纹理）表面，分支比功能性多晶硅单元簇（右上角）中的分离更明显。

可能有缺陷（33%）和可能有缺陷（67%）细胞的聚类是混合的。这些样本之间的高度混淆源于与我们数据集中剩下的两类高置信度样本的大小相比，相应类别的大小相对较小（见表3）。此外，这两个类别的样本由于处于可清楚区分的缺陷和非缺陷的边界，可能会刺激模糊决策。

4.8. 定性结果

图12为单晶和多晶太阳能电池的选择提供了定性结果，并由拟议的CNN推断出相应的缺陷可能性。为了便于与地面真值标签进行比较，通过将概率四舍五入到最近的类别，将CNN缺陷概率量化为与原始标签对应的四个类别。该选择包含正确分类和错误分类的太阳能电池，分别在预测概率和地面真值标签之间具有最小和最大的平方距离。

为了突出太阳能电池图像中的类特定区分区域，可以使用类激活图（CAM）（Zhou等人，2016；Selvaraju等人，2017；Chattopadhay等人，2018）。然而，由于其分辨率较粗，CAM不直接适用于缺陷区域的精确分割。CAM仍然可以提供线索，解释卷积网络推断特定缺陷概率的原因。为此，图12中的太阳能电池由从改进VGG-19网络的最后卷积块（×18 18 512）提取的CAM额外覆盖，并使用Chattopadhay等人（2018）的方法将其放大到原始分辨率300 X 300的太阳能电池图像。

有趣的是，即使CNN错误地将有缺陷的太阳能电池分类为功能性的（参见图12（b）中的最后一列），CAM仍然可以高亮显示潜在缺陷的图像区域。因此，CAM可以补充全自动评估过程，并在视觉检查期间的复杂情况下提供决策支持。从凸轮检查中可以看到的一个特殊问题是，手指中断并不总是能从实际缺陷中清楚地辨别出来。然而，这可以通过包含相应样本来训练CNN来实现。

在图13中，我们显示了CNN对完整多晶太阳能组件的预测。地面实况标签在每个太阳能电池的右上角以红色阴影圆圈表示。同样，太阳能细胞被CAM覆盖，并通过网络预测进行加权，以减少视觉混乱的数量。通过检查CAM，可以观察到CNN关注的是太阳能电池内的特殊缺陷，这些缺陷比同一电池中更明显的缺陷更难识别，例如退化或电绝缘电池部件（显示为深色区域）。

4.9 运行时评估

在这里，我们评估了支持向量机管道的每一步和CNN在训练和测试期间花费的时间。运行时在运行Intel i7-3770K CPU的系统上进行评估，CPU时钟为3.50GHz，内存为32GB。结果如图14所示。

不出所料，两种模型的训练都花费了大部分时间。虽然训练支持向量机总共需要30分钟左右。细化CNN的速度几乎是原来的10倍，需要5小时左右。但是，使用CNN的推理速度要比支持向量机管道快得多，在支持向量机的8分钟内只需要不到20秒。然而，需要注意的是，支持向量机管道推理持续时间是在CPU上执行的，而更快的CNN推理持续时间仅在GPU上获得。此外，只有一部分支持向量机管道并行执行处理。当在CPU上运行高度并行的CNN推理时，测试时间显著增加到12分钟以上。因此，在CPU上训练CNN变得很难，因此我们避免测量相应的运行时。

考虑到单个支持向量机管道步骤的相对贡献，特征提取最耗时，其次是局部特征编码和聚类（参见图15）。特征预处理和超参数优化要求最少。

在不仅需要低资源占用而且必须快速运行的应用程序中，可以通过SIFT或PHOW替换VGG特征描述符来减少支持向量机管道的总执行时间。这两种特征描述符在保持与VGG描述符相似的分类性能的同时，将推理期间的特征提取时间从最初的8分钟分别减少到23秒和12秒左右。

4.10. 讨论

从评估结果中可以得出几个结论。首先，如果关键点的空间分布相当稀疏，则掩蔽可能很有用。然而，在大多数情况下，掩蔽并不能提高分类精度。其次，根据单元中缺陷可能性的置信度按比例加权样本确实提高了学习分类器的泛化能力。

使用线性支持向量机训练的KAZE/VGG特征是性能最好的支持向量机管道变体，准确率为82.44%，F1分数为82.52%。CNN甚至更准确。它区分了起作用的和有缺陷的太阳能电池，准确率为88.42%。相应的F1得分为88.39%。通过t-SNE对CNN特征分布的二维可视化强调了网络学习了手头任务的实际结构。

该方法的一个局限性是每个太阳能电池都是独立检查的。特别是，不影响模块效率的某些类型的表面异常可以在细胞间以重复模式出现。对这种大规模效应的准确分类需要考虑语境，这取决于未来的工作。

与其预测缺陷的可能性，不如预测特定的缺陷类型。给定额外的训练数据，在给定具有适当标签的额外训练数据的情况下，可以在不发生重大变化（例如，通过微调新的缺陷类别）的情况下应用本工作中提出的方法。然而，将网络微调到多个缺陷类别，以预测缺陷类型而不是其概率，通常会影响损失函数的选择，从而影响最后激活层中的神经元数量。此类任务的损失函数的常见选择是（分类）交叉熵损失和softmax激活（Goodfello等人，2016）。

5.总结

我们提出了一个训练支持向量机和神经网络的通用框架，可用于识别高分辨率EL图像中的缺陷太阳能电池。仔细设计了支持向量机分类器的处理管道。在一系列实验中，性能最佳的管道被确定为基于样本训练的线性支持向量机中的KAZE/VGG特征，该样本考虑了标签机的置信度。CNN网络是一个基于VGG-19的微调回归网络，在增强细胞图像上训练，也考虑了标签置信度。

在单晶太阳能组件上，这两种分类器的性能相似，对于CNN来说平均只有一点优势。然而，在更不均匀的多晶细胞上，CNN分类器比SVM分类器的精度高出约6%。这也使得CNN在所有细胞中的平均准确率更好，为88.42%，而SVM为82.44%。高精度使两种分类器都适用于视觉检查。如果应用场景允许使用GPU和更高的处理时间，则首选计算更昂贵的CNN。否则，对于需要低资源占用的应用程序，支持向量机分类器是一种可行的替代方案。

//本文仅作为日后复习之用，并无他用。