论文研究 | 基于视觉的汽车线束绑扎胶套检测与测量系统

0 引言

略。

1 系统硬件构成

略。

2 图像处理系统及实现原理

通过图像采集系统获得汽车线束各部分图像后，使用 Halcon 图像算法库对图像进行中值滤波、图像增强等预处理; 然后对预处理得到的图像进行特征点提取，进而实现多位置图像的拼接。

图像拼接完成后，基于拼接图像进行胶套检测与测量工作，其长度测量算法流程如图 3 所示。首先通过深度学习最佳训练模型对图像中的多个胶套进行粗定位并记录胶套数量，然后生成对应的ROI，再分别对其进行形态学处理，精准定位ROI中的胶套。然后通过自适应阈值设定法确定每个ROI中提取胶套边缘应该选择的阈值，确定边缘后通过自适应权重分布的全采样测量方法对胶套进行长度测量。

2.1 图像拼接

2.1.1 图像特征点提取

使用 Halcon 算法库对图像进行特征点提取。特征点即图像中与周围像素点在颜色、亮度等特征上存在明显不同的像素点［9］。计算平滑矩阵

式中: Ix，c和 Iy，c为图像每个通道的一阶导数值; S 为平滑系数。

矩阵 M 的迹 Trace( M) 即为不均匀度，矩阵 M 的行列式值为 Det ( M) ，则图像像素点的各向同性程度为

从中选择出不均匀度和各向同性程度分别在设定阈值内的点即为特征点。

2.1.2 特征点匹配

特征点提取完成后，将特征点作为输入，寻找对应特征点之间的变换关系。

首先，确定两张图像输入点周围掩模窗口的灰度值相关性，并通过掩模窗口相似性实现两张图像间的初始匹配; 然后在上述初始约束条件下，使用 RANSAC 算法找到使对应特征点匹配数量最大化的投影变换矩阵，将变换矩阵应用到图像整体，即可实现 2 张图像的拼接。

多张图像可视为每相邻两图像的特征点提取及匹配，多次应用上述算法即可实现多张图像的依次拼接。

2.2 基于深度学习的胶套检测与粗定位

2.2.1 深度学习基本原理

深度学习在学习特征时采用的是使用低阶特征来表示高阶特征的方式，即使用简单概念来构建复杂概念［10］。深度学习把要学习的复杂映射拆分成一套简单的映射来学习。每个映射由模型的不同数据变换层来描述，每层的数据变换由该层的权重决定［11］。

对于一个模型而言，要确定每一层的合理参数，首先需要找到其输出结果与预期结果之间的差值，衡量该差值的函数就是损失函数，损失函数的输入为模型预测值与目标真实值，输出为两者之间的差值，即损失。为逐步减小预测值与真实值之间的差距，应该对学习过程进行不断调整。深度学习利用两者之间的差距作为反馈信号，对每一层的参数进行调整，以使损失值不断减小［12］。该调节过程由优化器应用反向传播算法来实现［13］。图 4 为深度学习基本原理。

首先对神经网络权重随机赋值，此时输出结果可能与真实值差别较大，即损失值较大。但随着网络训练样本数的不断增加，权重值会逐步向正确的方向调整，该过程称为循环训练。当训练循环次数足够多时，调整得到的最终权重可使损失值最小，即得到预测值与真实值之间差距最小的模型，称为最佳训练模型［14］。

2.2.2 模型训练

图 5 为同一线束绑扎胶套沿轴线分别旋转 0°、 45°、90°和 180°的视图，可见该目标在不同的观察角度上存在较大的差异。但是对于自动化检测而言，并不能每次均将其摆放至同样的角度，这就对目标检测的适应能力提出了较高的要求。

通过相机采集图像和数据增强处理，建立了一个包含1 000张不同规格尺寸胶套的线束图像数据集，并使用该数据集对模型进行训练。训练周期数设置为30，训练结束时的损失值为 0．328。训练得到的损失曲线如图 6 所示。

2.2.3 胶套粗定位

将训练好的最佳模型应用到要检测目标的图像中，可得到图 7 所示胶套识别结果，矩形框左上角即为该目标类别索引值及其置信度。至此即完成了胶套的粗定位。

2.3 胶套精定位

经粗定位图像分析发现，存在部分矩形框并未将胶套边缘完全包含在其中的问题。通过对提取出的ROI 图像作颜色空间转换，使得胶套部分与其余部分灰度产生较显著差别，进行二值化和多次形态学处理，使得胶套区域在图像中水平分布，最后求取该区域的最小外接矩形，此时胶套已经完全被矩形框包围。处理过程如图 8 所示。

2.4 胶套尺寸测量

进行尺寸测量需要对胶套两侧进行边缘检测，而边缘检测首先应当对图像进行平滑处理。ROI 中由于线束被编织线围绕，会有很多噪点，而中值滤波不仅可以减少噪声对被测物边缘的影响，还能很好地保留被测物边缘，所以采用中值滤波对图像进行处理。滤波完成后，对该 ROI 做灰度线性变换，以提升胶套与背景的对比度，便于更好地进行边缘检测。该预处理过程如图 9 所示。

2.4.1 自适应阈值的边缘检测

由于胶套生产过程影响，不同胶套可能存在一定色差，这就会导致颜色空间转化完成后不同胶套灰度不同，因此边缘检测时设定固定边缘阈值的方式并不能满足测量要求。

以每个 ROI 的左上角点作为原点，同原始图像坐标系行列轴方向一致建立局部坐标系，如图 10 所示，可以推算出该 ROI 内右下角行列坐标。建立一个 1×1的最小邻域( 阴影部分) ，使该邻域从 ROI 的左上角开始，以水平扫描的方式逐像素获取灰度值，并计算该行像素中最高灰度值与最低灰度值之差。以此类推，直到该小邻域遍历完整个 ROI。可以得到与 ROI 行数相同个数的多个差值，选择不为零的差值中最小差值作为边缘分割的自适应阈值。

设精确定位后得到的 ROI 宽和高分别为 W 和 H。详细过程如下:

（1）从该 ROI 左上角的局部坐标系原点开始，让小邻域沿列轴逐个读取该行像素灰度

值，并计算灰度值中最大值与最小值的差值，记为 Δt1 ;

（2）使小邻域下移一行开始遍历，第二行像素灰度值中最大值与最小值的差值记为

Δt2 ;

（3）以此类推，得到一个差值集合{ Δt1，Δt2，Δt3， …，ΔtH} ;

（4）去除掉集合中等于 0 的元素，求剩余元素的最小值 min 作为此 ROI 的自适应

边缘检测阈值。

2.4.2 自适应类高斯权重分布的长度测量

由于胶套质地较软，工人操作金属卡扣固定时会使得胶套两端上翘，这就使得在测量

过程中，胶套外侧边缘并非一条直线，因此测量位置不同得到的测量结果也就不同，由此造成一定的测量误差。

针对此，提出一种自适应类高斯权重分布的全采样测量方法。人工测量胶套长度时，测量位置基本固定为中间位置，即把胶套中间位置测量长度视为胶套长度，所以实施权重分布时，采用调高中间位置权重，降低边缘位置权重的方式，即离胶套中间位置越近的测量值对最终测量结果影响越大，离胶套中间位置越远的测量值反之。

首先建立胶套左右边缘全采样区域。在自适应阈值获取坐标系中，通过求取精准定位所获得 ROI 的中间行 R=Rm 在胶套左右边缘上的对应点，可获得胶套左右两侧的边缘中点，如图 11( a) 所示，坐标分别为( Rm，C1m ) 和( Rm，Crm ) ，然后以左右边缘的中点列坐标C1m和 Crm为起始值，取该值左右范围内各 10 像素，左侧范围区间为［C1m － 10，C1m + 10］，右侧范围区间为［Crm －10，Crm +10］，如图 11(b) 所示。然后分别以边缘中点行坐标 Rm 为起始值，沿行轴向上向下筛选列坐标落在上述范围内的边缘点，遇到未在该区间内的点即停止筛选。若所有边缘点均在范围内，则到达精准定位 ROI 的上下边缘停止。可得左侧上边缘点( R1u，C1u ) ，左侧下边缘点( R1d，C1d ) ，右侧上边缘点( Rru，Cru ) ，右侧下边缘点( Rrd，Crd ) 。比较左侧上边缘点行坐标 R1u与右侧上边缘点行坐标 Rru，取两者中较大的作为上边界行坐标 Ru ; 比较左侧下边缘点行坐标R1d与右侧下边缘点行坐标 Rrd，取两者中较小的作为最后下边界行坐标 Rd。则行区间［Ru，Rd］的胶套部分即为最终左右边缘全采样区域，如图 11(c) 所示。在该区间内进行自适应权重分布计算。

一维高斯函数［15］

式中:； b = μ，μ 为数据均值; c = σ，σ 为数据标准差。

使用原高斯函数在进行权重分配时，由于存在严重的权重衰减现象，不满足本测量系统要求，故对原函数进行简化修改。修改后的权重函数为

式中 f( x) 为计算出的权重值。

以胶套右侧边缘中点( Rm，Crm ) 作为原点，以 Rm所在行作为 y 轴，以 Crm所在列作为 x 轴，建立如图 12所示的权重分布坐标系。由于坐标系建立方式近似符合标准高斯分布，故 μ 为 0，最终权重分布函数可以写作

式中 x 为当前像素行在上述坐标系下的 x 轴方向的坐标值。

将各边缘点所在像素行的坐标 x 代入权重分布函数，得到 Rd－Ru +1 个权重值 f( xi ) 。为保证所有采样行权重值总和为 1，用当前行权重值除以所有行权重值总和，作为该行最终权重值 ωi，即

权重计算完成后，对如图 13( a) 所示的全采样区域内各像素行分别进行长度测量，将测量值 li 与对应行计算出来的权重值相乘再求和，即为最终得出的胶套长度。计算公式为

式中 L 为系统测量胶套长度值，mm。

自适应权重分布的全采样测量方法通过给不同测量位置分配与其位置相关的权重值，既平衡了由于测量位置不同造成的误差，又将各测量位置的尺寸均考虑在内，最终得出的测量结果准确性和可信度更高。由图 13( b) 可见每行可提取到 4 个边缘，2 个深色部分为胶套，中间浅色部分为固定胶套的金属卡扣，计算 4 个边缘点中相邻两边缘点的距离再求和即得该像素行所测胶套长度。图 13( b) 选择了胶套全采样区域中的 2 个像素行并显示出其测量状态。

3 现场实验与结果分析

为方便实际应用，开发了如图 14 所示的用户功能界面，界面主要包括图像及结果预览区、系统状态及参数设定区、测量数据设定及显示区和功能按钮区 4个部分，可以清晰地设定测量过程所需参数，简单高效，操作方便，检验结果直观。

为验证系统应用的稳定有效，首先对同一规格胶套的不同线束进行多次采集图像并测量，记录胶套个数检测值，计算测量值与约定真值之间的差值。约定真值由二维数字式投影测量仪在人工协助下测得。为控制变量，系统测量使用的图像均在与投影测量仪同角度同环境下采集获得。表 1 为胶套数量检测对比表，表 2 为测量数据对比表。

为进一步测试系统鲁棒性，选择 3 种带有不同规格胶套的线束分别进行检测与测量，检测结果如表 3所示，测量结果如表 4 所示。

以各规格实验次数为横坐标，测量值与约定真值差值的绝对值为纵坐标，绘制折线图如图 15 所示。

由图 15 可知，系统测量值与约定真值的差值均在0．5 mm 以内，计算得测量值平均相对误差为 1．12%，并且各规格胶套检出率均达到 100%，验证了系统的稳定性与鲁棒性。

针对不同规格胶套，在用户界面上将胶套个数理论值及长度理论值设定，则可用于判定胶套个数检测值及长度测量值与理论值差值是否超过阈值，超过即为不合格，并将检测结果显示在图像预览框中。

4 结束语

针对汽车线束绑扎胶套的检测及测量过程中人工主观影响大、效率低等问题，设计了一种基于机器视觉和深度学习的胶套检测与测量系统。系统通过多张图像拼接、基于深度学习的胶套检测和自适应权重分布的全采样测量算法实现对胶套的检测和测量工作。经现场实验及结果分析，该系统能够满足实际质检工作的基本需求，胶套检出率达到 100%，测量的平均相对误差低至 1．12%。另外，系统还具有鲁棒性强、测量效率高等优点，能够更好地满足实际应用中线束胶套的检测与测量需求。后续将对系统进行进一步的算法优化，提升算法适应性，提高运行效率，推进工业生产自动化进程。

参考文献

略。

感兴趣的同学可以去知网上下载此论文。

文章来源：马国庆1，2，刘珺玮1，曹国华1，3. 基于视觉的汽车线束绑扎胶套检测与测量系统 [J]. 仪表技术与传感器, 2022,09