周报内容：

CVPR2022论文两篇
使用PP-YOLOE+M模型进行PCBA板缺陷检测
下周工作计划

学习产出：

1.论文笔记

ViM: Out-Of-Distribution with Virtual-logit Matching

（1）概述

提出了一种名为Virtual-logit Matching (ViM) 的新颖的OOD评分方法，以应对OOD样本中表现出的巨大多样性，该方法结合了来自特征空间的类不可知得分和分布内 (ID) 类相关logit。这个方法不需要模型重新训练，而且还保留了ID分类的准确性。不需要额外的OOD数据，因此避免了对引入的OOD样本的bias。

从具有自然类分布的OpenImage数据集为ImageNet-1K 模型建立了一个新的OOD基准，OpenImage-O。它包含17,632个手动过滤的图像，并且比最近的ImageNet-O [15] 数据集大7.8倍。

（2）具体内容

Logit包含类相关信息，但在特征空间中存在类不可知信息，无法从logit中恢复。我们研究了两个案例 (零空间和主空间)，并讨论了分别依赖它们的两个OOD分数 (NuSA和残差)。

NuSA和残差都不考虑特定于单个ID类的信息，即它们是类不可知的。结果，这些分数忽略了与每个ID类的特征相似性，并且不知道输入最类似于哪个类。

因此，为了统一用于OOD检测的类不可知和类相关信息，我们通过虚拟logit匹配 (缩写为ViM) 提出了一个OOD评分。流水线如图1所示，其中有三个步骤，分别在特征、logit和概率处操作。

具体来说，对于特征x，(1) 针对主子空间P（由训练集X定义）提取特征的残差; (2) 通过每个模型常数 α重新缩放将残差的范数转换为虚拟logit; (3) 输出虚拟logit的softmax概率作为ViM分数。如果分数大于阈值 τ，则为OOD。另外，为了匹配虚拟logit的比例，我们通过统一采样K个训练实例，来计算训练集中虚拟logit的平均范数以及训练集中最大logit的平均值。

有两个因素会影响ViM得分: 如果其原始logit较大，则它的OOD示例较少; 而如果残差的范数较大，则更有可能是OOD。

（3）实验

OOD Datasets：四个OOD数据集 (OpenImage-O、Texture、iNaturalist、ImageNet-O) 用于对算法进行全面基准测试。

评估指标：

AUROC：计算接收器工作特性曲线下面积的无阈值度量。较高的值表示更好的检测性能。

FPR95：FPR @ TPR95的简称，它是当真阳性率为95% 时的假阳性率。FPR95越小越好。

实验设置：

使用预训练的BiT-S-R101 × 1模型和预训练的ViT-B/16模型。不需要重新训练，因此ID精度不受影响。

基线方法：

将ViM与不需要微调的八个基线进行了比较：MSP、Energy、ODIN、MaxLogit、KL Matching、Residual†、ReAct 和Mahalanobis

实验结果：

由于ViT模型是在ImageNet-21K数据集上预先训练的，因此它所看到的语义比BiT模型大得多。OOD表现相对饱和。因此在大多数OOD数据集上，ViT明显优于BiT，但ViT在纹理数据集上的竞争力较低。因为较高层的ViT比ResNets.更倾向于维护空间位置信息。ViT对本地补丁的响应很高。然而，具有相似局部斑块但不显示整个对象的纹理图像被视为ImageNet的OOD

局限性：

ViM在具有小残差的OOD数据集 (例如iNaturalist) 上显示出较少的性能增益；

ViM虽然不需要训练，但也说明会受到原始网络的特征质量的限制。

（4）借鉴之处

可用于检测数据集中是否有分布外的异常图像

Self-Supervised Predictive Convolutional Attentive Block for Anomaly Detection

（1）概述

自监督预测卷积注意力块 (SSPCAB)旨在学习使用上下文信息预测 (或重建) masked信息。为了获得高度准确的重建结果，学习发现的局部模式的全局结构。我们将块设计为具有扩张的masked滤波器的卷积层，然后是通道注意模块。该块配备有其自身的损失函数，其目的是使masked输入和预测输出之间的重建误差最小化。

SSPCAB由一个被整流线性单元 (ReLU) 激活的masked卷积层组成 [46]，然后是一个挤压和激励 (SE) 模块 [24]。

（2）具体结构

Masked卷积:

我们的掩蔽卷积由子核 $_{K_{i}}$ 表示。每个核都位于距感受野中心的掩蔽区域的距离 (膨胀速率) d ∈ N处。

内核在输入张量X的某个位置执行的卷积运算仅考虑来自子内核 $_{K_{i}}$ 所在位置的输入值，其他信息被忽略。卷积运算结果被求和为一个数字，结果值表示与masked向量M位于同一位置的预测。引入了许多c掩码卷积滤波器，从而预测来自M不同通道的掩码信息。在学习和预测输入的每个空间位置的重建时，我们在输入周围添加零填充，并将步幅设置为1，使输入中的每个像素都用作屏蔽信息，并且输出张量Z的空间尺寸与输入张量X的空间尺寸相同。最后，输出张量通过ReLU激活。

通道注意模块：

屏蔽卷积的输出由通道注意模块处理，该模块计算每个通道的注意分数。我们采用SE模块对信道方向的特征响应进行自适应重新校准，增加SSPCAB的建模能力，并在整个框架的输入和输出之间实现非线性处理。

重建损失：

为应用掩蔽滤镜的每个位置重建掩蔽区域，提供相应的重建作为输出。令G表示SSPCAB函数，我们将自监督重建损失定义为输入和输出之间的均方误差 (MSE)：

当将SSPCAB集成到各种具有其自身损失函数的神经模型F中时，我们的损失可以简单地添加到相应的损失中。

（3）实验

数据集：

MVTec AD：包含来自10个对象类别和5个纹理类别的图像，总共有15个类别。有3629张无缺陷训练图像和1725张有或没有缺陷的测试图像。

Avenue：视频异常检测的流行基准。它包含16个训练视频和21个测试视频。训练视频仅包含正常样本，测试视频包含正常和异常样本。

ShanghaiTech ：视频异常检测，由330培训和107测试视频组成。

评估指标：

图像异常检测：通过绘制真阳性率 (TPR) 与假阳性率 (FPR) 得到的ROC曲线，并计算曲线下的面积 (AUROC) 。

视频异常检测：我们根据曲线下面积 (AUC) 评估异常事件检测方法，如果帧内至少有一个像素异常，则通过将帧标记为异常来计算。

实验内容：

选择一些基础模型，使用其官方代码，继承超参数。除非另有说明，否则我们将在所有基础模型中用SSPCAB替换倒数第二卷积层。

Avenue上进行初步实验

两种替代损失函数：平均绝对误差 (MAE) 和均方误差 (MSE)

在屏蔽卷积之后要添加的几种类型的注意：通道注意 (CA)、空间注意（SA）、和两者都有（CA+SA）

以 [18] 的外观卷积自动编码器为基准，为了在基本体系结构之上测试各种SSPCAB配置，不配置过度，我们删除了其他组件（如光流，跳过连接，对抗训练，掩码重建和二进制分类器），仅使用普通的自动编码器。

初步结果：

在基本架构之上添加基于MAE损失的掩蔽卷积层后，我们观察到显着的性能提升，用MSE替换MAE损失函数时，性能进一步提高。且通道注意（CA）模块的效果更好。

总结：

实证结果表明，SSPCAB学习使用上下文信息预测 (或重建) masked信息,在几乎所有情况下都带来了性能改进。初步结果表明，屏蔽卷积和渠道注意力都有助于提高性能。此外，在sspcab的帮助下，我们能够在Avenue和ShanghaiTech上获得新的最先进水平。

（4）借鉴之处

该注意块可以引入模型，使用上下文信息预测 (或重建) masked信息,提升模型性能。

2.基于PP-YOLOE+的PCBA缺陷检测

（1）数据集：

飞桨PCBA原数据集（600张）+自建经裁剪的数据集（39张）

缺陷分类：

skewing 倾斜

tombstoning 吊桥效应（经过红外线或热风熔焊后，偶尔会出现一端焊牢而另一端被拉起的浮开现象）

solder_bridge 焊料桥接（指组装之线路板经焊接后，在不该有通路的地方，常会出现不当地銲锡导体，而着成错误的短路。）

open_solder

short

（2）具体实现

模型选择：

我们使用PP-YOLOE+进行训练，包含骨干网络CSPRepResNet，特征融合CSPPAN，轻量级ETHead，改进的动态匹配算法TAL等模块，并使用obj365预训练模型

模型训练：

在./configs/ppyoloe/ppyoloe_plus_crn_m_80e_obj365_pretrained_pcb.yml中进行修改相关配置

训练迭代了16epoch，通过--eval参数开启训练中交替评估

模型评估：

当前模型训练得到的最好的权重保存在：

output/ppyoloe_plus_crn_m_80e_obj365_pretrained_pcb/best_model.pdparams

实验结果：

在经过裁剪后的PCBA板上进行测试，结果还是不理想，考虑是不是裁剪数据集占比太小。

（3）遇到问题

1）在用工业相机对PCBA样板进行拍照时，光源会在板上造成反光，如下图：

措施：换多个角度对PCBA板拍照，让模型充分学习（不知道有没有用）

2）工业相机所用软件截取的图像为BMP格式，转成数据集所需的jpg格式后，清晰度明显下降，可能会造成不良影响

措施：暂无

3.下周工作计划

（1）增加裁剪后数据集占比

（2）对样板进行处理，扩充数据集，提高模型泛化能力

（3）尝试解决图片清晰度问题（调研相关文献）

2022/10/10-10/15周报相关推荐

产业区块链发展周报（10.11—10.16）| 陀螺研究院
摘要产业动态: 云南发改委:推进区块链技术同云南发展八大重点产业云南常务副省长:发展区块链产业态度坚决,千方百计形成区块链企业聚集态势四川省:大力发展区块链等数字经济产业,加快新型基础设施建设 ...
产业区块链发展周报（10.17—10.23）| 陀螺研究院
摘要产业动态: 阿斯塔纳国际金融中心参与全球首个区块链标准路线图发布 "莲湖秦智汇"以区块链等+应用融合创新为核心产业发展方向河南日报:重点打造区块链等未来产业供应链向更加强 ...
【附赠书】2022年全球10大数据泄漏事件
导读:全球每年都会有大量的爆炸性的数据泄漏事件发生,但是今年的数据泄漏事件特别多,此起彼伏,而且数据泄漏的规模和造成的破坏性影响,一次比一次大. 根据Identify Theft Research C ...
为什么虚拟机的linux系统IP是10.0.2.15
新装了个Centos5.6, 使用ifconfig 发现本机的IP地址是10.0.2.15 原因是虚拟机选择的是nat联网方式,将主机虚拟成10.0.2.1然后随机给虚拟机一个10.0.2.15的地址 ...
10.15 iptables filter表小案例10.16/10.17/10.18 iptables nat表应用
2019独角兽企业重金招聘Python工程师标准>>> 10.15 iptables filter表小案例 iptables 命令.语法总结 iptables-nvL //查看ipt ...
技嘉B360M AORUS PRO 小雕+8400 黑苹果安装 EFI 10.13.6-10.15.4
B360M-AORUS-PRO-8400-EFI 提示 10.15.4目测稳定性还不错,白苹果有发热问题,台式机散热好应该吃得消,Xcode11.4也需要10.15.2及以上版本,新的EFI将在一两周 ...
教育界杂志教育界杂志社教育界编辑部2022年第10期目录
教育界杂志教育界杂志社教育界编辑部2022年第10期目录管理智库改造我们的游戏,改造我们的课程赵维霞; 2-4 探究型"四有"好教师培养路径探析王静; 5- ...
适合送礼的蓝牙耳机有哪些？2022蓝牙耳机排行榜10强
随着科技的不断进步,目前蓝牙耳机已经成为了主流.让你摆脱线缆的束缚,自由行动的同时享受随时随地的音乐陪伴,你会发觉生活更加美好,生活品质大幅度提升.今天笔者为你带来的是2022蓝牙耳机排行榜10强,如 ...
（蓝桥杯）问题描述　　给定一个N阶矩阵A，输出A的M次幂（M是非负整数）　　例如：　　A = 　　1 2 　　3 4 　　A的2次幂　　7 10 　　15 22
问题描述给定一个N阶矩阵A,输出A的M次幂(M是非负整数) 例如: A = 1 2 3 4 A的2次幂 7 10 15 22 输入格式第一行是一个正整数N.M(1<=N<=30, 0& ...
明日风尚杂志明日风尚杂志社《明日风尚》杂志社2022年第10期目录
明日风尚杂志明日风尚杂志社<明日风尚>杂志社2022年第10期目录影音舞蹈<明日风尚>投稿:cnqikantg@126.com 心理素质在声乐学习与演唱中的作用探究 ...

2022/10/10-10/15周报